[論文レビュー] Beware the Rationalization Trap! When Language Model Explainability Diverges from our Mental Models of Language

Rita Sevastjanova, Mennatallah El‐Assady|arXiv (Cornell University)|Jul 14, 2022

Topic Modeling被引用数 5

ひとこと要約

この論文は、言語モデルの説明可能性が、モデルの行動と人間の言語に関する認知的モデルの不一致によって、有害な合理化を引き起こすリスクを主張している。本稿では、ユーザーの認知的モデルに適合した高精細で包括的な説明を提供する人間中心のフレームワークを提案し、真の理解を保証する。誤解を防ぐために、適応的で対照的かつ協働的な説明戦略を採用する。

ABSTRACT

Language models learn and represent language differently than humans; they learn the form and not the meaning. Thus, to assess the success of language model explainability, we need to consider the impact of its divergence from a user's mental model of language. In this position paper, we argue that in order to avoid harmful rationalization and achieve truthful understanding of language models, explanation processes must satisfy three main conditions: (1) explanations have to truthfully represent the model behavior, i.e., have a high fidelity; (2) explanations must be complete, as missing information distorts the truth; and (3) explanations have to take the user's mental model into account, progressively verifying a person's knowledge and adapting their understanding. We introduce a decision tree model to showcase potential reasons why current explanations fail to reach their objectives. We further emphasize the need for human-centered design to explain the model from multiple perspectives, progressively adapting explanations to changing user expectations.

研究の動機と目的

• モデルの行動と人間の直感との不一致による言語モデルの説明における有害な合理化のリスクに対処すること。
• 効果的な説明可能性のための3つの核心的条件を特定すること：高精細性、包括性、ユーザーの認知的モデルとの整合性。
• ユーザーの理解を段階的に補正するための適応的で多角的説明手法を提案すること。
• 誤解を是正し、ユーザーの理解を向上させるために、対照的かつ人間らしい説明の必要性を強調すること。
• ユーザーの理解に応じて進化する協働的・インタラクティブな説明システムの導入を提唱すること。

提案手法

• ユーザーの理解を定期的なチェックとフィードバックループを通じて検証する説明システムの設計により、誤解を検出・是正する。
• 現在の説明手法が失敗する理由を診断するための意思決定ツリー・モデルを実装し、精細性、包括性、ユーザー・モデルとの整合性に注目する。
• ユーザーの反応と認知的モデルの進化に基づき、動的に説明を調整する共適応型ガイダンス戦略を統合する。
• ユーザーが強い先入観を持っている場合に特に有効な、対照的かつボトムアップ型の説明技術を用いて、モデルの行動を複数の視点から明らかにする。
• モデルの特徴を自然言語に翻訳する人間らしい説明を提供し、サリエンシーと意思決定論理を非専門家が理解できるようにする。
• より小さな説明ユニットから構成されるモジュラーXAIパイプラインを構築し、段階的でタスク固有の説明開発を支援する。

実験結果

リサーチクエスチョン

• RQ1 言語モデルの学習（形式のみ）と人間の言語に関する認知的モデルとの乖離が、説明における有害な合理化を引き起こすメカニズムは何か？
• RQ2 言語モデル行動の真の理解を達成するためにはどのような条件が必要か？
• RQ3 進化するユーザーの認知的モデルに適応し、誤解を防ぐために説明システムはどのように設計すべきか？
• RQ4 現在の説明手法は、ユーザー向けの説明において包括性と精細性をどのように欠いているのか？
• RQ5 対照的かつ協働的説明アプローチは、ユーザーの理解の補正をどのように促進し、合理化を減少させるか？

主な発見

• 精細性や包括性に欠ける説明は、ユーザーが誤った仮定で空白を埋めることを引き起こし、有害な合理化を生じさせる。
• 現在の説明手法は、ユーザーが言語について持つ事前の認知的モデルを考慮していないため、理解の向上に寄与しないことが多い。
• 高精細で包括的な説明は必要だが、それだけでは不十分である。真の理解を保証するためには、ユーザーの認知フレームワークと整合している必要がある。
• ユーザーの理解を検証し、それに応じて説明を調整する適応的説明システムは、誤解のリスクを顕著に低減する。
• 対照的およびボトムアップ型の説明アプローチは、ユーザーが強いが誤ったモデル行動に関する仮説を持っている場合に、認知的モデルの補正を支援する。
• モデルの特徴を自然言語に翻訳する人間らしい説明は、非専門家ユーザーのアクセシビリティと理解度を向上させる。