[論文レビュー] Pitfalls in Language Models for Code Intelligence: A Taxonomy and Survey

Xinyu She, Yue Liu+6 more|arXiv (Cornell University)|Oct 27, 2023

Software Engineering Research被引用数 8

ひとこと要約

要約: データ、システム設計、評価、展開の4領域の落とし穴の分類と、LM4Code研究67件を特定した体系的文献レビュー。信頼性向上のための影響と解決策を提案する四領域タ taxonomy を提示。

ABSTRACT

Modern language models (LMs) have been successfully employed in source code generation and understanding, leading to a significant increase in research focused on learning-based code intelligence, such as automated bug repair, and test case generation. Despite their great potential, language models for code intelligence (LM4Code) are susceptible to potential pitfalls, which hinder realistic performance and further impact their reliability and applicability in real-world deployment. Such challenges drive the need for a comprehensive understanding - not just identifying these issues but delving into their possible implications and existing solutions to build more reliable language models tailored to code intelligence. Based on a well-defined systematic research approach, we conducted an extensive literature review to uncover the pitfalls inherent in LM4Code. Finally, 67 primary studies from top-tier venues have been identified. After carefully examining these studies, we designed a taxonomy of pitfalls in LM4Code research and conducted a systematic study to summarize the issues, implications, current solutions, and challenges of different pitfalls for LM4Code systems. We developed a comprehensive classification scheme that dissects pitfalls across four crucial aspects: data collection and labeling, system design and learning, performance evaluation, and deployment and maintenance. Through this study, we aim to provide a roadmap for researchers and practitioners, facilitating their understanding and utilization of LM4Code in reliable and trustworthy ways.

研究の動機と目的

• LM4Codeに影響を及ぼすデータ、設計、評価、展開ライフサイクルの落とし穴を識別・分類する。
• これらの落とし穴が性能、信頼性、信頼性（トラストワースネス）に与える含意を評価する。
• LM4Codeの落とし穴を緩和するための既存の解決策とベストプラクティスを要約する。
• 堅牢なLM4Code研究と実践のためのオープンな課題と方向性のロードマップを提供する。

提案手法

• Kitchenham and Charters のガイドラインに従って体系的文献レビュー（SLR）を実施する。
• 準金標準検索とバックワード/フォワード・スノーボール法を用いて関連する一次研究を収集する。
• 発見を四段階のLM4Codeライフサイクル（データ収集/ラベリング、システム設計/学習、性能評価、展開/保守）に分類する。
• 落とし穴、含意、解決策について定性的・定量的洞見を統合する。
• 出版物の分布とLMタイプを時間軸で分析し、LM4Code研究の動向を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 RQ1: コード知能向け言語モデルにおける落とし穴の種類は何か。
• RQ2 RQ2: これらの落とし穴がLM4Codeシステムの有効性、信頼性、倫理性に与える影響は何か。
• RQ3 RQ3: これらの落とし穴に対処するために提案された解決策は何か。

主な発見

• 67件の一次研究（2018–2023）が特定・分析された。
• データ収集/ラベリング、システム設計/学習、性能評価、展開/保守の四つの側面から成る四要素の分類法を開発。
• データ関連の落とし穴には不均衡な分布、データノイズ、ラベリングエラーが含まれ、性能の過大評価やモデル有効性の低下につながり得る。
• システム設計の落とし穴にはデータスヌーピング、偽の相関、適切でないモデル設計が含まれ、過度に楽観的な指標や信頼性の低い挙動を招く。
• 解決策にはデータクリーニング/デノイジング、実世界ベンチマーク、クロスプロジェクト検証、時系列分割、正則化、解釈性の重視が挙げられる。
• 研究の推移としてトランスフォーマーベースのLM4Codeと透明性を意識した評価への転換が進んでいる。