[論文レビュー] Language Models for Code Optimization: Survey, Challenges and Future Directions

Jingzhi Gong, Vardan Voskanyan+8 more|arXiv (Cornell University)|Jan 2, 2025

Model-Driven Software Engineering Techniques被引用数 5

ひとこと要約

この論文はLMベースのコード最適化に関する系統的文献調査を行い、53件の研究を分析して傾向・課題・今後の方向性を特定する。

ABSTRACT

Language models (LMs) built upon deep neural networks (DNNs) have recently demonstrated breakthrough effectiveness in software engineering tasks such as code generation, completion, and repair. This has paved the way for the emergence of LM-based code optimization techniques, which are crucial for enhancing the performance of existing programs, such as accelerating program execution time. However, a comprehensive survey dedicated to this specific application has been lacking. To fill this gap, we present a systematic literature review of over 50 primary studies, identifying emerging trends and addressing 11 specialized questions. Our findings reveal five critical open challenges, such as balancing model complexity with practical usability, cross-language/performance generalizability, and building trust in AI-driven solutions. Furthermore, we provide eight future research directions to facilitate more efficient, robust, and reliable LM-based code optimization. Thereby, this study aims to provide actionable insights and foundational references for both researchers and practitioners in this rapidly evolving field.

研究の動機と目的

• 最新の53件の一次研究を横断して、LMベースのコード最適化技術の現状を調査する。
• コード最適化に使用されるLMの特性とカテゴリを識別する（汎用、コード特化、トランスフォーマー）。
• 今後の研究を指針づけるために、トレーニング体制・モデルサイズ・統合アプローチを検討する。
• 統合証拠に基づくオープンな課題を総合し、堅牢性・使いやすさ・一般化能力を向上させる実現可能な方向性を提案する。

提案手法

• Kitchenham and Charters のガイドラインに従って系統的文献調査を実施する。
• 六つの学術データベースを検索し、包含/排除基準を適用して53件の一次研究を選定する。
• 四つの研究質問と11のサブ質問に対応するデータを抽出する。
• LMのタイプ・サイズ・使用ケースで研究を分類し、発見と推奨を要約する。
• 統合された証拠に基づいて制約・課題・今後の方向性を検討する。

Figure 1 . Visualization of the survey scope.

実験結果

リサーチクエスチョン

• RQ1 RQ1: コード最適化に用いられるLMの特徴（タイプ・サイズ・カテゴリ）は何か。
• RQ2 RQ2: LMはどのように訓練・設定されるか（事前学習 vs 微調整、データソース、プロンプト）。
• RQ3 RQ3: コード最適化におけるLMの活用法（生成・評価・変換・ツールング）。
• RQ4 RQ4: LMベースのコード最適化における主な課題と今後の方向性は何か。

主な発見

• 汎用LMは、幅広い理解と推論能力のためにコード最適化で最も広く使用されている。
• コード特化LMはターゲットを絞った改善を提供するが、タスク間の汎用性には欠ける可能性がある。
• 大規模（および非常に大規模）モデルは複雑な最適化タスクを可能にするが、リソースと統合の懸念を生む。
• データ効率とタスク特異性に対応するため、プロンプトエンジニアリングと専用のモデリングアプローチが一般的な戦略である。
• 5つの主要な課題を特定：計算/リソース要求、統合と信頼性、言語と指標を超えた一般化、合成データセットへの依存、出力の幻覚の潜在性。
• 効率性・堅牢性・実世界での適用性を高めるための8つの今後の方向性を提案する。

Figure 3 . Development of code optimization methods: strengths and weaknesses