[論文レビュー] The CodRep Machine Learning on Source Code Competition

Zimin Chen, Martin Monperrus|arXiv (Cornell University)|Jul 6, 2018

Software Engineering Research参考文献 1被引用数 8

ひとこと要約

CodRep コンペティションは、オープンソースプロジェクトのソースファイルにおけるコード置換の正しい挿入行番号を予測することに注力した、新たな機械学習チャレンジを導入している。5つの洗練されたデータセット（合計58,069のタスク）を用い、実世界のコード進化を、双曲正接関数に基づく微分可能で有界な損失関数を用いて学習可能なモデルの開発を可能にする。

ABSTRACT

CodRep is a machine learning competition on source code data. It is carefully designed so that anybody can enter the competition, whether professional researchers, students or independent scholars, without specific knowledge in machine learning or program analysis. In particular, it aims at being a common playground on which the machine learning and the software engineering research communities can interact. The competition has started on April 14th 2018 and has ended on October 14th 2018. The CodRep data is hosted at https://github.com/KTH/CodRep-competition/.

研究の動機と目的

• 機械学習やプログラム解析の深い専門知識を必要としない、研究者、学生、独立研究者にとってアクセス可能な、ソースコードにおける機械学習の共有ベンチマークを構築すること。
• 実際のコード変更を含む、公開可能な共通データセットを通じて、機械学習とソフトウェア工学のコミュニティ間の協力を促進すること。
• ソースファイルにおけるコード行の挿入位置を予測する標準化された問題設定を提供することに焦点を当て、主に置換操作を対象とする。
• 学術的文献で事前に研究済みのプロジェクトから得た、大規模な1行コミットのデータセットを収集・洗練し、データ品質と再現可能性を確保すること。
• 現実世界の小さな行番号の誤差に対する感度を反映した、堅牢で微分可能な損失関数を設計すること。

提案手法

• コンペティションのタスクは、与えられたコード行をどの行番号に挿入するか（置換として）予測することである。
• 入力データはペアで構成され、(挿入するコード行, 全体のソースファイル) の形式であり、テキストファイルに1行目にコード行、2行目にファイルの内容が記載されている。
• ラベルは別個のソリューションファイルに提供され、各タスクごとの正しい行番号が記載されている。
• データセットは、事前に学術文献で研究済みのオープンソースプロジェクトの実コミットから構築されており、関連性と再現可能性を保証している。
• データのフィルタリングでは、コメントのみの変更、空行、複数行の置換を除外し、Javaファイル内の単一の行置換コミットのみを保持している。
• 独自の損失関数が使用されている：tanh(|正解行 − 予測行|)。この関数は誤差を有界に保ち、対称的かつ連続的で、微分可能（0を除く）であり、大きな誤差に対して対数的にペナルティを課す。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、実際のソースコードファイルにおけるコード置換の正しい挿入行番号をどの程度正確に予測できるか？
• RQ2 異なるコードスタイルや構造を持つ多様なオープンソースプロジェクトにおいて、さまざまなモデルアーキテクチャはどの程度一般化するか？
• RQ3 微分可能で有界な損失関数は、コード挿入予測タスクのモデル学習をどの程度効果的に導くか？
• RQ4 実プロジェクトからの1行コミットの共有で洗練されたデータセットは、コード進化やコード生成研究の信頼できるベンチマークとして機能できるか？
• RQ5 データの出典とフィルタリング基準の影響は、コード変更予測データセットの品質と有用性にどのような影響を与えるか？

主な発見

• CodRep コンペティションは、5つの洗練済みデータセットから成る、58,069の予測タスクを含む、現時点で知られている最大の1行コミットデータセットを提供している。
• データセットは、オープンソースプロジェクトからの実際でフィルタリング済みのコミットで構成されており、Dataset1には4,394タスク、Dataset5には18,366タスクが含まれ、高い関連性と再現可能性を確保している。
• 損失関数 tanh(|正解 − 予測|) により、誤差測定が有界で、対称的かつ微分可能であり、正確な予測に近い場合のペナルティが最小限に抑えられる。
• Dataset5 は最終順位決定用の隠しテストセットとして使用されており、公開データへの過剰適合を防ぎ、コンペティションの整合性を保証している。
• コンペティションフレームワークは、機械学習やプログラム解析の知識が限定的な研究者、学生、独立研究者を含む多様なコミュニティからの広範な参加を可能としている。
• 洗練済みのデータは https://github.com/KTH/CodRep-competition/ で公開されており、コンペティション以降の実験的研究やモデル学習を支援している。