[論文レビュー] Patching as Translation: The Data and the Metaphor

Yangruibo Ding, Baishakhi Ray+2 more|arXiv (Cornell University)|May 8, 2020

Artistic and Creative Research参考文献 33被引用数 11

ひとこと要約

この論文は、自動プログラム修復における『パッチ適用は翻訳に似ている』という一般的な比喩に挑戦し、言語処理に特化したニューラル機械翻訳（NMT）モデルが、タスク設計、アーキテクチャ、損失目的における根本的な不一致のため、コード修復においては著しく劣ると実証的に示している。文脈に応じてバグのあるコードを条件付きに編集を生成する新しいシーケンス・ツー・シーケンスモデルを用いた分析を通じて、文脈に配慮した編集生成が、NMTベースの翻訳的手法に比べて顕著に優れていることが明らかになった。特に、最小限で影響力の高いコード変更を処理する際の優位性が顕著である。

ABSTRACT

Machine Learning models from other fields, like Computational Linguistics, have been transplanted to Software Engineering tasks, often quite successfully. Yet a transplanted model's initial success at a given task does not necessarily mean it is well-suited for the task. In this work, we examine a common example of this phenomenon: the conceit that "software patching is like language translation". We demonstrate empirically that there are subtle, but critical distinctions between sequence-to-sequence models and translation model: while program repair benefits greatly from the former, general modeling architecture, it actually suffers from design decisions built into the latter, both in terms of translation accuracy and diversity. Given these findings, we demonstrate how a more principled approach to model design, based on our empirical findings and general knowledge of software development, can lead to better solutions. Our findings also lend strong support to the recent trend towards synthesizing edits of code conditional on the buggy context, to repair bugs. We implement such models ourselves as "proof-of-concept" tools and empirically confirm that they behave in a fundamentally different, more effective way than the studied translation-based architectures. Overall, our results demonstrate the merit of studying the intricacies of machine learned models in software engineering: not only can this help elucidate potential issues that may be overshadowed by increases in accuracy; it can also help innovate on these models to raise the state-of-the-art further. We will publicly release our replication data and materials at https://github.com/ARiSE-Lab/Patch-as-translation.

研究の動機と目的

• 自動プログラム修復における『ソフトウェアパッチ適用は言語翻訳に似ている』という比喩の妥当性を調査すること。
• ニューラル機械翻訳（NMT）モデルとプログラム修復のタスクとの間で生じる重要な不一致を特定し、実証的に示すこと。
• NMTモデルにおけるアーキテクチャ設計、タスク定式化、損失関数が、効果的なコード修復を妨げる理由を評価すること。
• バグのあるコードを条件に編集を条件付きで生成する、より原理的で文脈に配慮したモデルを提案・評価すること。翻訳とは異なり、全シーケンスを翻訳するのではなく、編集を生成する。
• 編集ベースのモデリングが、正確性、多様性、構文的正しさの観点から、翻訳ベースのモデリングを上回ることを実証的に示すこと。

提案手法

• 著者らは、NMTベースのパッチ生成と、バグのある文脈を条件にした新しい編集ベースのシーケンス・ツー・シーケンスモデルを比較する体系的で実証的な事例研究を実施した。
• 標準的な指標を用いてモデルを評価した：正確一致の正確性、ビームサーチを用いた上位5件の正確性、トレーニング時のティーチャー・フォースの適用。
• 周囲のコード文脈（最大500トークンまで）を段階的に増加させ、それがモデルのパフォーマンスに与える影響を評価した。
• 提案されたモデルは、全シーケンスの翻訳ではなく、バグを修正するために必要な最小限の変更に焦点を当てた編集を生成するため、現実の修復パターンとより整合性がある。
• 実証的分析には、文脈長、アテンション機構、モデル容量に関するアブレーションスタディを含め、失敗モードを特定した。
• 再現可能性およびさらなる研究を支援するため、再現データとコードを公開した。

実験結果

リサーチクエスチョン

• RQ1 『パッチ適用は翻訳に似ている』という比喩は、自動プログラム修復の本質的メカニズムをどれほど正確に反映しているか？
• RQ2 NMTモデルにおけるアーキテクチャ的選択、特に逐次的生成とシーケンス・ツー・シーケンス生成が、効果的なコード修復をどのように妨げるか？
• RQ3 NMTの標準的な損失関数（例：トークンの重複に基づくもの、例えばBLEU）が、プログラム修復の質と相関しないのはなぜか？
• RQ4 文脈に配慮した編集生成モデルは、正確性および構文的正しさの観点から、標準的なNMTベースのパッチ生成を上回ることができるか？
• RQ5 周囲のコード文脈は、正確で多様なパッチ生成を可能にする役割を果たすが、なぜNMTモデルに効果的に統合するのが難しいのか？

主な発見

• NMTモデルは翻訳タスクに特化して訓練されているが、全シーケンスを逐次的に生成するという設計と、実際のコードパッチがほとんど最小限の局所的変更であるという事実との間に根本的な不一致があるため、プログラム修復においては著しく劣る。
• 標準的なNMT損失関数（例：BLEU）は、トークンの重複に基づいているが、多くの正しいパッチは1〜2トークンしか変更がなく、結果として高精度でもBLEUスコアが低くなるため、実際の修復品質と相関が薄い。
• バグのあるコードのみで訓練されたモデルは、文脈が不足しているため正しいパッチを生成できない。周囲のコード文脈を最大500トークンまで追加してもパフォーマンスは著しく向上せず、これは根本的なモデリングの制限を示している。
• バグのある文脈を条件にパッチを生成する提案された編集ベースのモデルは、NMTベースのモデルに比べて顕著に高い正確性と優れた多様性を達成しており、特に最小限の変更を処理する際の優位性が顕著である。
• NMTモデルのアテンション機構は、文脈が提供されても、関連するバグの場所を効果的に特定できないため、アーキテクチャ的に修復タスクと不適合であることが示された。
• 本研究は、現在のNMTベースのプログラム修復ツールが、最適でないだけでなく、根本的にタスクと不整合である可能性があることを明らかにした。これにより、原理的で再設計されたモデルの開発が急務であることが示された。