[論文レビュー] LLM-Generated Black-box Explanations Can Be Adversarially Helpful

Rohan Deepak Ajwani, Shashidhar Reddy Javaji+2 more|arXiv (Cornell University)|May 10, 2024

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

要約: 本論文は、LLM-generated explanations for incorrect answersが対した adversarially persuasive となり、人間や評価者に対する正解性の認識を高めることを示し、このリスクを理解するための戦略とグラフベースの実験を分析し、安全な使用ガイドを提供する。

ABSTRACT

Large Language Models (LLMs) are becoming vital tools that help us solve and understand complex problems by acting as digital assistants. LLMs can generate convincing explanations, even when only given the inputs and outputs of these problems, i.e., in a ``black-box'' approach. However, our research uncovers a hidden risk tied to this approach, which we call *adversarial helpfulness*. This happens when an LLM's explanations make a wrong answer look right, potentially leading people to trust incorrect solutions. In this paper, we show that this issue affects not just humans, but also LLM evaluators. Digging deeper, we identify and examine key persuasive strategies employed by LLMs. Our findings reveal that these models employ strategies such as reframing the questions, expressing an elevated level of confidence, and cherry-picking evidence to paint misleading answers in a credible light. To examine if LLMs are able to navigate complex-structured knowledge when generating adversarially helpful explanations, we create a special task based on navigating through graphs. Most LLMs are not able to find alternative paths along simple graphs, indicating that their misleading explanations aren't produced by only logical deductions using complex knowledge. These findings shed light on the limitations of the black-box explanation setting and allow us to provide advice on the safe usage of LLMs.

研究の動機と目的

• ブラックボックス設定でLLMsが誤答を説明する際の敵意的有用性のリスクを動機づけて定量化する。
• LLMの説明で読者を誤解させる説得戦略を特定する。
• 人間と自動評価者の敵意的説明への感受性を評価する。
• LLMsが構造化知識を利用して誤答を正当化できるかを検討する。
• LLM explainersのより安全な使用のためのガイドラインを提供する。

提案手法

• ECQAとSNLIデータセットを用い、ほぼ正解に近い第二の最良解と中立/含意/反証のケースを作成する。
• 4つの説明モデル（ChatGPT、GPT-4、Claude、Cohere Command）を指示して誤答に対する敵意的説明を生成させる。
• Amazon MTurkを用いた人間評価を実施し、 Explanation前後の説得性、流暢さ、事実正確性を評価する。
• 代理評価モデルを用いた自動評価を実施し、誤答の確率/説得性の変化を測定する。
• 論説を10戦略の説得性分類で分析し、再 framing や選択的証拠のような戦略の頻度を定量化する。
• 構造的知識が敵意的説明の基盤かどうかを検証するため、グラフベースの記号推論タスクをモデル化する。

実験結果

リサーチクエスチョン

• RQ1 LLMが生成する説明は、人間と評価者にとって誤答の説得力を大幅に高めるか？
• RQ2 敵意的説明で最も一般的な説得戦略は何か？
• RQ3 LLMsはグラフのような構造を推論して敵意的説明を作ることができるか、それとも語彙的手掛かりが原因か？
• RQ4 敵意的有用性の背後にある機構は何か、実践での緩和策は何か？

主な発見

• 人間のアノテータは、GPT-4、Claude、ChatGPTを横断して、敵意的説明に曝露した後、誤答に対する説得力の評価が増加した。
• 自動評価者でも、敵意的説明の後に誤答の確率が高まることが示されたが、モデル間の合意は異なる。
• 説明はしばしば「質問の再 framing」「選択的証拡/事実」「高い自信」などの戦略を用い、常識タスクでの使用率は70%超、推論タスクで90%超となる。
• humansと評価モデルはアイテムごとの同意度や相関が弱く、人間と代理指標の判断が分かれることを示す。
• グラフベースの記号推論タスクでは、性能の低いモデルが代替経路を見つけるのに苦労することが明らかとなり、敵意的有用性は純粋な演繹能力以上の要因に依拠することを示唆する。
• 著者らは安全ガイドラインを提案する：意思決定を人間に委ねる、複数の代替案を考慮した合理を生成する、中間的な指標を提供して人間の判断を補助する。