[論文レビュー] Properties and Challenges of LLM-Generated Explanations

Jenny Kunz, Marco Kuhlmann|arXiv (Cornell University)|Feb 16, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

この論文は、大規模言語モデル（LLM）が生成する説明の特性を調査し、Alpacaの指示微調整データセットから生成されたGPT-4の出力を焦点としている。LLMが生成する説明は、一般的に人間の説明と同様に選択的で、例示的要素を含む傾向があるが、主観的で誤解を招く内容はそれほど多くはなく、それでも依然として存在する。研究は、これらの特性が応用文脈やユーザー層によっては肯定的・否定的両面の影響を及ぼす可能性があることを強調している。

ABSTRACT

The self-rationalising capabilities of large language models (LLMs) have been explored in restricted settings, using task/specific data sets. However, current LLMs do not (only) rely on specifically annotated data; nonetheless, they frequently explain their outputs. The properties of the generated explanations are influenced by the pre-training corpus and by the target data used for instruction fine-tuning. As the pre-training corpus includes a large amount of human-written explanations "in the wild", we hypothesise that LLMs adopt common properties of human explanations. By analysing the outputs for a multi-domain instruction fine-tuning data set, we find that generated explanations show selectivity and contain illustrative elements, but less frequently are subjective or misleading. We discuss reasons and consequences of the properties' presence or absence. In particular, we outline positive and negative implications depending on the goals and user groups of the self-rationalising system.

研究の動機と目的

• 説明可能AIに不適切とされると考えられる、選択的、主観的、例示的要素といった人間の説明の典型的な特性を特定・体系化すること。
• GPT-4がAlpacaデータセットを用いて生成する説明に、こうした人間らしい説明特性がどの程度反映されているかを調査すること。
• 説明可能NLPのさまざまな目的（安全性、信頼性、トラブルシューティング、知識発見）に、こうした特性が及ぼす影響を評価すること。
• さまざまな応用文脈において、エンドユーザー、開発者、研究者といった異なるユーザー層に、こうした説明特性がどのように影響を及ぼすかを評価すること。
• 人間らしい自然さと、忠実で正確かつ完全なモデル説明という技術的要件との間のトレードオフを浮き彫りにすること。

提案手法

• GPT-4が生成したAlpacaデータセットの100件の指示従い例に限定して、人間によるアノテーション研究を実施した。
• 構造化されたアンケートを用い、生成された説明が特定の特性（選択的、例示的要素、主観的、誤解を招く内容）を示しているかどうかを評価した。
• 三名のレーティング担当者が一貫したアノテーションガイドラインに従い、定性的および定量的コーディングを実施し、各特性の頻度と文脈を分析した。
• 各特性の有無を、信頼性、トラブルシューティング、知識発見などの具体的な用途にマッピングし、機能的影響を評価した。
• アライメント技術（例：指示微調整やフィルタリング）が、主観的や誤解を招く内容といった望ましくない特性をどれほど軽減するかを評価した。
• 先行研究のヒトアノテート説明データセットと照らし合わせ、モデル生成とヒトアノテートの説明における特性の違いを対比した。

Figure 1: Distribution of the categories defined in Section 4.1 in the evaluation set.

実験結果

リサーチクエスチョン

• RQ1 AlpacaデータセットにおけるLLMが生成する説明は、選択的や例示的要素といった人間の説明に共通する特性をどの程度反映しているか。
• RQ2 LLMが生成する説明に、主観的または誤解を招く内容がどの程度頻発するか、また、これらの特性を低減する要因として、トレーニングおよびアライメントプロセスにどのような要因があるか。
• RQ3 LLMが生成する説明の特性が、モデルの信頼性向上、トラブルシューティングの支援、知識発見の促進といったさまざまな目的に与える影響は何か。
• RQ4 エンドユーザー、開発者、研究者といった異なるユーザー層において、LLMが生成する説明の特性が、期待にどのように一致するか、あるいは矛盾するか。
• RQ5 説明の特性は、さまざまな種類の指示やドメインによってどのように変化するか。また、Alpacaデータセットからの一般化にどのような限界があるか。

主な発見

• AlpacaデータセットにおけるLLMが生成する説明は、しばしば選択的であり、完全な正当化ではなく、特定の推論の側面のみを強調している。
• たとえ、例、比喩といった例示的要素が説明に多く含まれており、説明の理解可能性と修辞的インパクトを高めている。
• 主観的コンテンツはそれほど頻発せず、GPT-4のトレーニングパイプラインにおける指示微調整やフィルタリングといったアライメントプロセスによる影響が考えられる。
• 誤解を招く説明はまれにしか観察されなかったが、Alpacaデータセットにカバーされていない低確率または分布外の入力では、リスクが上昇する可能性がある。
• 不完全さや修辞的説得力といった望ましくない特徴が存在する一方で、教育やデバッグのような文脈では、明確さと関与度が重視されるため、こうした特性は有益であることがある。
• 本研究は、選択的や例示的要素といった特性が本質的に問題であるとは限らず、特に熟練度の低いユーザーにとっては使いやすさを高める可能性があることを強調しており、モデルの推論に対する完全な忠実性が犠牲になる可能性があるが、それでも価値がある。

Figure 2: Comparison of the yes -answers the three annotators (A1, A2, A3) for Questions Q1 (“Does the output contain an explanation for the prediction?”) and Q2 (“Would you give an explanation/justify your reasoning if you were asked this question by a friend?”).