[論文レビュー] SQL-Commenter: Aligning Large Language Models for SQL Comment Generation with Direct Preference Optimization

Lei Yu, Peng Wang+7 more|arXiv (Cornell University)|Mar 19, 2026

Natural Language Processing Techniques被引用数 0

ひとこと要約

SQL-Commenter は継続的事前学習、監視付きファインチューニング、直接的好み最適化（DPO）を LLaMA-3.1-8B 上で組み合わせることにより、Spider および Bird ベンチマークで最先端の結果を達成し、ヒューマン評価でベースラインを上回るSQLコメント生成を実現しました。

ABSTRACT

SQL query comprehension is a significant challenge due to complex syntax, diverse join types, and deep nesting. Many queries lack adequate comments, severely hindering code readability, maintainability, and knowledge transfer. Automated SQL comment generation faces two main challenges: limited datasets that inadequately represent complex real-world queries, and Large Language Models' (LLMs) insufficient understanding of SQL-specific semantics. Our empirical analysis shows that even after continual pre-training and supervised fine-tuning, LLMs struggle with complex SQL semantics, yielding inaccurate comments. To address this, we propose SQL-Commenter, an advanced method based on LLaMA-3.1-8B. We first construct a comprehensive dataset of complex SQL queries with expert-verified comments. Next, we perform continual pre-training on a large SQL corpus to enhance the LLM's syntax and semantic understanding, followed by supervised fine-tuning. Finally, we introduce Direct Preference Optimization (DPO) using human feedback. SQL-Commenter utilizes a preference-based loss function to favor preferred outputs, enhancing fine-grained semantic learning and context-dependent quality assessment. Evaluated on the Spider and Bird benchmarks, SQL-Commenter significantly outperforms state-of-the-art baselines. On average, it surpasses the strongest baseline (Qwen3-14B) by 9.29, 4.99, and 13.23 percentage points on BLEU-4, METEOR, and ROUGE-L, respectively. Moreover, human evaluation demonstrates the superior quality of comments generated by SQL-Commenter in terms of correctness, completeness, and naturalness.

研究の動機と目的

• 現実世界の分析作業やレガシーシステムにおいて、複雑なクエリの高品質で技術的に正確な SQL コメントを生成する課題に対応する。
• Spider および Bird ベンチマークに基づく複雑な SQL クエリと詳細なコメントの高品質で専門家検証済みデータセットを作成する。
• 大規模な SQL コーパスに対する継続的事前学習を通じて LLM の SQL 構文/意味理解を強化する。
• 専門的な SQL コメントデータセットでの監視付きファインチューニングと、人間のフィードバックを用いた直接的好み最適化によりコメント品質を向上させる。
• 自動指標と人間評価の最先端性能を実証し、データセットとコードを公開する。

提案手法

• Spider および Bird ベンチマークから得た詳細コメント付きの大規模で専門家検証済みデータセットを構築する。
• 約 120 万の SQL クエリと一般データを用いて LLaMA-3.1-8B の CPT を継続的事前学習することで SQL 理解を向上させる。
• 約 15,071 ⟨SQL, Comment⟩ ペアを用いて詳細で技術的に正確な説明を教示するための SFT を実施する。
• 望ましい/非望ましいコメントのペアを用いた Direct Preference Optimization（DPO）を導入し、出力を開発者の好みに合わせる。
• データ構築を二段階で行う：1) DeepSeek-V3.1 による機械支援コメントの生成と専門家による改良、2) DPO のための多戦略的ネガティブサンプリングで好ましい/拒否されるペアを作成。
• BLEU-4、METEOR、ROUGE-L による Spider および Bird のベンチマーク評価と、正確性、完全性、自然さについてのヒューマン評価を実施する。

Figure 1. The Motivation of our SQL-Commenter.

実験結果

リサーチクエスチョン

• RQ1 RQ1: SQL-Commenter は Spider および Bird で最先端の baselines と比較して SQL コメント生成でどの程度の性能を示すか。
• RQ2 RQ2: CPT、SFT、DPO の各要素は単独および組み合わせでどれほど効果的か。
• RQ3 RQ3: 人間の評価者は生成コメントを正確さ、完全さ、自然さの観点でどのように評価するか。
• RQ4 RQ4: よくある失敗モードと改善のための潜在的な方向性は何か。

主な発見

• SQL-Commenter は Spider および Bird の開発セット/テストセットにおいて、強力なベースラインと比較して自動指標スコアで最先端を達成した。
• Spider 開発セットでは BLEU-4 36.95、METEOR 58.37、ROUGE-L 57.17 を達成し、最も強力なベースラインを大幅に上回る。
• Spider テストセットでは BLEU-4 36.37、METEOR 57.76、ROUGE-L 56.48 を達成し、ベースラインより顕著に改善。
• Bird 開発セットでは BLEU-4 35.09、METEOR 55.91、ROUGE-L 56.74 を達成し、ベースラインを大幅に上回る。
• 人間評価では SQL-Commenter のコメントがベースラインより正確・完全・自然であることが示された。
• SQL コメント生成のための Direct Preference Optimization（DPO）を初めて導入し、データセットとコードを公開する。

Figure 2. The Overview of our SQL-Commenter.