[論文レビュー] Exploring the Effectiveness of LLMs in Automated Logging Generation: An Empirical Study

Yichen Li, Yintong Huo+6 more|arXiv (Cornell University)|Jul 12, 2023

Advanced Manufacturing and Logistics Optimization被引用数 7

ひとこと要約

本論文は、大規模言語モデル（LLM）を用いた自動ログ記述生成のための最初の包括的な実証的研究を提示する。本研究では、3,870件のメソッドと6,849件のログ記述を含むLogBenchというデータセットを提案し、8種類の最先端LLMの有効性と一般化能力を評価した。研究結果から、現在のLLMは正確で文脈に配慮したログ記述を生成する点で不足しており、未知のコードに対しては困難を抱えることが明らかになった。これは、モデルの能力と一般化能力の両面での制限を示している。

ABSTRACT

Automated logging statement generation supports developers in documenting critical software runtime behavior. Given the great success in natural language generation and programming language comprehension, large language models (LLMs) might help developers generate logging statements, but this has not yet been investigated. To fill the gap, this paper performs the first study on exploring LLMs for logging statement generation.We first build a logging statement generation dataset, LogBench, with two parts: (1) LogBench-O: logging statements collected from GitHub repositories, and (2) LogBench-T: the transformed unseen code from LogBench-O. Then, we leverage LogBench to evaluate the effectiveness and generalization capabilities (using LogBench-T) of eleven top-performing LLMs. In addition, we examine the performance of these LLMs against classical retrieval-based and machine learning-based logging methods from the era preceding LLMs. We further evaluate LLM's logging generalization capabilities using unseen data (LogBench-T) derived from code transformation techniques. While existing LLMs deliver decent predictions on logging levels and logging variables, our study indicates that they only achieve a maximum BLEU score of 0.249, thus calling for improvements. The paper also highlights the importance of prompt constructions and external factors (e.g., programming contexts and code comments) for LLMs' logging performance. Based on these findings, we identify five implications and provide practical advice for future logging research. Our empirical analysis discloses the limitations of current logging approaches while showcasing the potential of LLM-based logging tools, and provides actionable guidance for building more practical models.

研究の動機と目的

• 最先端のLLMが、レベル、変数、テキストの3つの要素を含む完全で文脈的に適切なログ記述を生成する有効性を調査すること。
• モデルサイズやコードでの事前学習といった内部的LLM特徴（例：モデルサイズ、コード事前学習）がログ生成性能に与える影響を分析すること。
• コードの文脈やコメントといった外部要因が、LLMによるログ生成品質に与える影響を評価すること。
• 訓練時に見られなかった変換済みコードを用いて、LLMの一般化能力を評価し、データリークや記憶の可能性を検出すること。
• 統一されたメトリクス、共有されるコード知識、最適化されたプロンプト設計を通じて、将来のLLMベースのログ生成ツールの改善に向けた実用的知見を提供すること。

提案手法

• 3,870件のJavaメソッドと6,849件の手作業で選別されたログ記述を含む、多様なログ要素を備えた新しいベンチマークデータセットLogBenchを構築した。
• 60M～175Bパラメータの範囲で変動する8種類の最先端LLMを、コードスニペットから完全なログ記述を生成する能力について評価した。
• LogBench-Oとして、構造的・文法的変化を加えた未学習コードを含むテストセットを作成するためのコード変換パイプラインを設計した。
• 自動メトリクス（例：BLEU、ROUGE）と人間による評価を用いて、ログの有効性を測定した。
• モデル固有の特徴（例：コード事前学習）と外部的文脈（例：周辺コード、コメント）が出力品質に与える影響を分析した。
• 各要因がログ生成性能に与える寄与度を分離するためのアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 現在のLLMは、レベル、変数、テキストという3つの要素をすべて備えた正確で文脈的に適切なログ記述をどの程度生成できるか？
• RQ2 モデルサイズやコードでの事前学習といった内部的LLM特徴が、ログ生成の有効性にどのように影響するか？
• RQ3 コードの文脈やコメントといった外部要因が、LLMによるログ生成品質にどのように影響するか？
• RQ4 公開コードリポジトリで学習した後、LLMは公開コードリポジトリで見られなかったコード構造に対しても一般化できるか、それとも記憶に依存しているか？
• RQ5 実際のLLMベースのログ生成において、主な制限要因と改善の機会は何か？

主な発見

• 既存のLLMは、自然言語生成能力に優れているものの、実用的な要件を満たさず、正確でない、または意味的に不適切なログを生成している。
• モデルサイズとコードでの事前学習は、ログ生成の有効性を顕著に向上させ、コード特化型モデルが汎用LLMを上回る性能を示した。
• 周辺コードやコメントといった外部的文脈は、生成されたログ記述の関連性と正確性を顕著に向上させた。
• LLMは変換済みコードに対して一般化能力に欠け、訓練データの記憶に依存している可能性が高く、真の理解には至っていないことが示された。
• 学習済みコードと未学習コードの間で性能の差が顕著に現れたことから、データリークのリスクが浮き彫りになり、より厳密な評価プロトコルの必要性が示された。
• 本研究では、以下の3点のインプリケーションを同定した：統一されたログ品質メトリクスの開発、LLMへの共有コード知識の統合、ログタスクに最適化されたプロンプト戦略の設計。