[論文レビュー] ECCO: Evidence-Driven Causal Reasoning for Compiler Optimization

Haolin Pan, Lianghong Huang+3 more|arXiv (Cornell University)|Jan 23, 2026

Natural Language Processing Techniques被引用数 0

ひとこと要約

ECCO は、LLM Strategist と GA Tactician を結びつけ、 LLVM のフェーズ順序を最適化する証拠駆動型因果推論フレームワークを導入し、7つのベンチマークを通じて LLVM -O3 に対するサイクル削減を大幅に達成します。

ABSTRACT

Compiler auto-tuning faces a dichotomy between traditional black-box search methods, which lack semantic guidance, and recent Large Language Model (LLM) approaches, which often suffer from superficial pattern matching and causal opacity. In this paper, we introduce ECCO, a framework that bridges interpretable reasoning with combinatorial search. We first propose a reverse engineering methodology to construct a Chain-of-Thought dataset, explicitly mapping static code features to verifiable performance evidence. This enables the model to learn the causal logic governing optimization decisions rather than merely imitating sequences. Leveraging this interpretable prior, we design a collaborative inference mechanism where the LLM functions as a strategist, defining optimization intents that dynamically guide the mutation operations of a genetic algorithm. Experimental results on seven datasets demonstrate that ECCO significantly outperforms the LLVM opt -O3 baseline, achieving an average 24.44% reduction in cycles.

研究の動機と目的

• ブラックボックス探索や表面的な LLM プロンプトだけに頼らない、解釈可能で因果情報を持つコンパイラ自動調整の必要性を動機づける。
• 最適化軌跡から因果データセットを構築し、推論根拠を蒸留してモデルを訓練する証拠駆動のパイプラインを提案する。
• LLM が最適化意図を定義し、遺伝的アルゴリズムを導く協調的推論フレームワークを設計する。
• このアプローチが7つのベンチマークで強力なベースラインと比較してサイクル削減の優越を示すことを実証する。

提案手法

• 反復的な剪定（アルゴリズム 1）を用いて高性能シーケンスをコアパスへとリバースエンジニアリングすることで因果データセットを構築する。
• 各最適化ステップ後に構造的特徴とパフォーマンスの証拠を抽出し、パスの相乗効果を特定する。
• privileged evidence から模擬的予測推論を蒸留して訓練データとし、静的特徴から結果への因果リンクをモデルが学習する。
• 二段階の方策最適化：監督付きファインチューニング（SFT）と、フォーマットと報酬の両立を図る GRPO を用いた強化学習。
• 協調的な Strategist–Tactician 推論：LLM が高レベルの最適化意図を出す（Strategist）、GA が正確な突然変異ベースの探索を実行する（Tactician）。
• トレーニングデータからパス有効性のグローバルプリオリ（スター・パス）を算出し、意図に基づく確率的突然変異（式 4）で GA の探索を偏らせつつ遍在性を保持する。

Figure 1 : Overview of the compiler phase-ordering task.

実験結果

リサーチクエスチョン

• RQ1 ECCO は従来の自動調整ヒューリスティクスや直接的な LLM プロンプトと比較してどうであるか。
• RQ2 証拠駆動の訓練とモデルスケーリングが最適化の有効性にどのように寄与するか。
• RQ3 協調的 Strategist–Tactician フレームワークは、単なる生成的 LLM アプローチよりも性能と解釈性の点で改善をもたらすか。
• RQ4 ECCO の最適化根拠は実際のコンパイラ動作にどれだけ忠実か。

主な発見

Method	blas	cbench	chstone	mibench	npb	opencv	tensorflow	Average
TPE	13.45	28.60	26.07	20.70	27.85	13.40	9.07	19.88
RIO	16.55	30.56	27.07	22.74	31.59	15.44	9.88	21.98
OpenTuner	15.72	31.68	27.03	22.93	32.41	15.50	9.71	22.14
GA	16.48	30.30	27.07	22.80	32.77	16.00	9.58	22.14
PDCAT	17.19	31.75	27.84	23.44	32.78	16.19	10.33	22.79
CompTuner	17.26	31.57	27.87	23.03	31.43	18.15	10.83	22.88
GRACE	13.72	34.08	32.95	24.69	29.31	14.98	12.25	23.14
CFAST	16.44	31.08	28.87	24.98	34.65	17.36	12.50	23.70
Direct LLM Prompting(Best-of-32)	8.46	27.11	27.88	20.41	15.54	9.93	4.39	16.25
Kimi-K2	10.79	24.90	28.85	20.04	18.35	10.04	3.31	16.61
DeepSeek-V3.2	6.41	28.16	29.70	20.04	16.68	8.42	3.01	16.06
GPT5-chat	10.62	26.30	27.61	19.24	18.02	10.63	3.51	16.56
ECCO (Best-of-32)	12.99	35.19	35.50	27.12	32.97	15.58	11.72	24.44

• ECCO は 7つのベンチマークで LLVM -O3 に対して平均 24.44% のサイクル削減を達成した。
• ECCO は従来の探索ヒューリスティクスおよび直接的な LLM プロンプトを上回り、cbench、chstone、mibench で顕著な利得を示した。
• 証拠駆動訓練（CoT と法医学的特徴）は必須で、証拠や CoT を除くと性能が低下する。
• 単独の LLM 方針は Best-of-32 サンプリングで収束するが、完全な Strategist–Tactician システムには平均して約5ポイント程度劣る。
• 解釈可能性監査では ECCO の根拠の忠実度が高く、審査員間のコンセンサス平均は約 91%。
• モデルサイズを大きくすることは、証拠に基づく訓練なしでは収益の逓減を招き、最適なスイートスポットは 3B–7B 程度で、協働時に最も有効である。

Figure 2 : Overview of the ECCO . The pipeline consists of three distinct phases: (1) Causal Dataset Creation , where raw optimization trajectories are pruned and reverse-engineered into evidence-rich rationales; (2) Two-Stage Policy Optimization , which aligns the model via SFT and enhances explora