[論文レビュー] What Did I Do Wrong? Quantifying LLMs' Sensitivity and Consistency to Prompt Engineering

Federico Errica, Giuseppe Siracusano+2 more|arXiv (Cornell University)|Jun 18, 2024

Higher Education Learning Practices被引用数 4

ひとこと要約

本論文は、文書分類タスクにおけるプロンプトの変化に対する大規模言語モデル（LLM）の信頼性を評価するための2つの新しい指標—感受性（sensitivity）と一貫性（consistency）—を導入する。感受性は、正解ラベルを必要とせずに、意味的に同等のプロンプト再表現における予測の変化を測定する。一方、一貫性は、同じクラス内でのラベルの安定性を評価する。主な貢献は、LLMの失敗モードを特定し、特に複数のLLM段階を含む生産環境システムにおけるロバスト性を高めるためのプロンプト工学を支援する診断フレームワークの構築である。

ABSTRACT

Large Language Models (LLMs) changed the way we design and interact with software systems. Their ability to process and extract information from text has drastically improved productivity in a number of routine tasks. Developers that want to include these models in their software stack, however, face a dreadful challenge: debugging LLMs' inconsistent behavior across minor variations of the prompt. We therefore introduce two metrics for classification tasks, namely sensitivity and consistency, which are complementary to task performance. First, sensitivity measures changes of predictions across rephrasings of the prompt, and does not require access to ground truth labels. Instead, consistency measures how predictions vary across rephrasings for elements of the same class. We perform an empirical comparison of these metrics on text classification tasks, using them as guideline for understanding failure modes of the LLM. Our hope is that sensitivity and consistency will be helpful to guide prompt engineering and obtain LLMs that balance robustness with performance.

研究の動機と目的

• 微小なプロンプトの変化によるLLMの挙動の不一致という課題に対処し、生産環境への導入を阻害する要因を解消すること。
• 正解ラベルに依存せず、LLMのロバスト性を評価する補助的指標を開発すること。
• 過敏さやクラス間の一貫性の低さといった失敗モードを特定することで、プロンプト工学を支援すること。
• プロンプトの変化が一般的な複数段階のソフトウェアシステムにおけるLLMの信頼性を評価するフレームワークを提供すること。

提案手法

• 同じプロンプトのQ回の再表現における予測の分散を測る指標として感受性を提案し、正解ラベルを必要とせずに計算する。
• 予測分布間のコサイン類似度を用いて、同じクラスに属する例同士の予測の平均類似度として一貫性を定義する。
• 少数-shot、ゼロ-shot、詳細な記述などの多様なプロンプティング戦略を用い、TREC、DBPedia、WoS、CBの複数の文書分類データセットでLLMの評価を実施する。
• Llama3とGPT-3.5にこれらの指標を適用し、集計値およびクラスごとの挙動を分析することで、失敗パターンを特定する。
• ヒストограмとバイオリンプロットを用いて、異なるプロンプティング手法やデータセット間での一貫性分布を比較可視化する。
• 定性的分析を用いて、ラベル記述の語呂や順序の違いといった特定のプロンプト設計要因が誤分類を引き起こすメカニズムを特定する。

実験結果

リサーチクエスチョン

• RQ1 意味的に同等のプロンプト再表現間でLLMの予測がどのように変化するか。正解ラベルが存在しない状況でもその変化を定量化可能か？
• RQ2 異なるプロンプティング戦略は、同じクラス内でのLLM予測の一貫性にどの程度影響を与えるか？
• RQ3 感受性と一貫性の指標は、精度だけでは捉えきれない失敗モードを特定可能か？
• RQ4 ラベル記述の語呂や順序はLLMのロバスト性にどのように影響を与えるか。これらの要因は体系的に診断可能か？

主な発見

• 感受性は、精度が高くても予測が著しく変化するプロンプト変化を効果的に特定し、モデル挙動における隠れた脆弱性を明らかにする。
• 一貫性値は多くのクラスで0.75未満であり、LLMが類似する例を異なる方法で誤分類することが頻発していることを示しており、特に「記述（Description）」や「エンティティ（Entity）」のような混同しやすいクラスで顕著である。
• 1-shotプロンプティング戦略は中程度の一貫性を低下させ、一貫性がゼロとなるペアの数も増加させ、少数-shotが安定性を向上させるという期待とは逆の結果を示した。
• 「エンティティ（an Entity）」といった冠詞の追加といったラベル記述の語呂の違いが、予測に顕著な変化をもたらし、微小なプロンプト変更に対する高い感受性を示している。
• 定性的分析により、「記述」と「エンティティ」の間での誤分類が一般的であることが判明し、これらのクラスのプロンプト記述を調整することで一貫性が向上した。
• 指標は直感的でない挙動（例：詳細なクラス記述を使用すると感受性が上昇）を特定し、平均性能を超えた体系的なプロンプト診断の必要性を浮き彫りにした。