[論文レビュー] Faithfulness vs. Plausibility: On the (Un)Reliability of Explanations from Large Language Models

Chirag Agarwal, Sree Harsha Tanneru+1 more|arXiv (Cornell University)|Feb 7, 2024

Topic Modeling被引用数 11

ひとこと要約

本論文は、巨大言語モデルが生成する自己説明における忠実性と適合理性の二分法を議論し、適切な場合には説得力を犠牲にすることなく、特に高リスクな応用において忠実性を評価・向上させることを主張する。

ABSTRACT

Large Language Models (LLMs) are deployed as powerful tools for several natural language processing (NLP) applications. Recent works show that modern LLMs can generate self-explanations (SEs), which elicit their intermediate reasoning steps for explaining their behavior. Self-explanations have seen widespread adoption owing to their conversational and plausible nature. However, there is little to no understanding of their faithfulness. In this work, we discuss the dichotomy between faithfulness and plausibility in SEs generated by LLMs. We argue that while LLMs are adept at generating plausible explanations -- seemingly logical and coherent to human users -- these explanations do not necessarily align with the reasoning processes of the LLMs, raising concerns about their faithfulness. We highlight that the current trend towards increasing the plausibility of explanations, primarily driven by the demand for user-friendly interfaces, may come at the cost of diminishing their faithfulness. We assert that the faithfulness of explanations is critical in LLMs employed for high-stakes decision-making. Moreover, we emphasize the need for a systematic characterization of faithfulness-plausibility requirements of different real-world applications and ensure explanations meet those needs. While there are several approaches to improving plausibility, improving faithfulness is an open challenge. We call upon the community to develop novel methods to enhance the faithfulness of self explanations thereby enabling transparent deployment of LLMs in diverse high-stakes settings.

研究の動機と目的

• 自己説明がモデルの真の推論を反映しているのか、それとも人間らしく見せるだけなのかを理解する動機
• LLMの説明における適合理性と忠実性を定義し、区別する
• LLMにおける自己説明を生成・評価する既存の手法を調査する
• 高リスク領域での含意と忠実性の必要性を強調する
• 使いやすさを損なうことなく忠実性を向上させる方向性と未解決課題を提案する

提案手法

• 思考過程（Chain-of-Thought）、トークン重要度、反事実的説明などの自己説明技法のレビュー
• 適合理性と忠実性の形式的定義
• 反事実入力とポストホック介入を用いた忠実性評価手法の議論
• 訓練目的とRLHFによる適合理性への過度な強調の分析
• 提案される研究方向: ファインチューニング、インコンテキスト学習、機械的解釈可能性

実験結果

リサーチクエスチョン

• RQ1 LLMの自己説明における適合理性と忠実性の違いは何で、それらは信頼性へどのように影響するのか？
• RQ2 現在の手法は忠実性をどう測定するか、ブラックボックスLLMにおける限界は何か？
• RQ3 どのアプリケーションで適合理性や忠実性がより重要で、用途に合わせて説明をどのように調整すべきか？
• RQ4 適合理性を過度に損なうことなく忠実性を高める戦略は何か？
• RQ5 LLM説明の忠実性を評価・改善するために必要な今後のベンチマークと手法は何か？

主な発見

• LLMsは人間の推論と一致する説得力のある説明を生成できるが、必ずしもモデルの実際の推論過程を反映していない可能性がある
• 忠実性の現在の評価指標は限られており、自己説明の忠実性を測定する普遍的な標準は存在しない
• RLHFなどの訓練目的の影響で適合理性への過度な強調があり、高リスク設定で忠実性を損なう可能性がある
• 反事実入力のシミュレーションと説明への介入を用いて忠実性を評価するが、真の推論を特定する上で限界が示されている
• 忠実性は高リスク領域で極めて重要であり、教育的または対話的文脈では適合理性が好まれる場合がある。説明は用途に応じて調整されるべきである
• 本論文はより忠実な自己説明を生成するための信頼できる指標、ベンチマーク、およびアプローチの開発を訴えている