[論文レビュー] On the Diversity and Limits of Human Explanations

Chenhao Tan|arXiv (Cornell University)|Jun 22, 2021

Topic Modeling被引用数 11

ひとこと要約

この論文は、NLPにおける人間の説明の多様性と限界を調査し、'説明'という用語が広すぎるあまりに、異なる認知的構造を混同していると主張する。人間の説明を近接的メカニズム、証拠、手順の3つに分類し、それぞれが異なる認知的基盤と有用性を持つことを強調している。人間はしばしば妥当で完全な推論を提供できないため、モデルの訓練や評価のための信頼できる基準と見なせるという仮定に疑問を呈している。

ABSTRACT

A growing effort in NLP aims to build datasets of human explanations. However, the term explanation encompasses a broad range of notions, each with different properties and ramifications. Our goal is to provide an overview of diverse types of explanations and human limitations, and discuss implications for collecting and using explanations in NLP. Inspired by prior work in psychology and cognitive sciences, we group existing human explanations in NLP into three categories: proximal mechanism, evidence, and procedure. These three types differ in nature and have implications for the resultant explanations. For instance, procedure is not considered explanations in psychology and connects with a rich body of work on learning from instructions. The diversity of explanations is further evidenced by proxy questions that are needed for annotators to interpret and answer open-ended why questions. Finally, explanations may require different, often deeper, understandings than predictions, which casts doubt on whether humans can provide useful explanations in some tasks.

研究の動機と目的

• NLPにおける'説明'という用語の概念的多様性を明確にすること。これは、しばしば同一視されるが、異なる認知的現象を指している。
• 人間がアノテートした説明が、説明可能AIモデルの訓練や評価のための信頼できる基準として適切かどうかを検討すること。
• 予測が説明を意味しないこと、日常的な説明が本質的に不完全であることなど、心理的知見を強調すること。
• 認知科学の枠組みに基づき、人間の説明を近接的メカニズム、証拠、手順の3つのタイプに分類すること。
• 人間の説明の認知的・概念的限界を認識した上で、NLPにおける説明の収集・利用に役立つ指針を提供すること。

提案手法

• Lombrozo (2006) の認知フレームワークを改変し、NLPにおける人間の説明を3つのタイプに分類する。
• 既存のデータセットで説明を引き出すために使われる代理質問を分析し、それらが異なる根幹的推論プロセスを標的としていることを明らかにする。
• 心理学的文献を援用し、人間が正しい予測をしたとしても、その背後にある因果的メカニズムを完全に説明できないことがあると主張する。
• 具体例を通じて、説明の形式と深さが異なることを示す。例えば、トークンの強調（証拠）と推論ステップの記述（手順）と因果的リンクの提示（近接的メカニズム）の違い。
• 20以上のNLPデータセットとアノテーションガイドラインをレビューし、異なる代理質問が異なる説明タイプを生じさせることを示し、一貫性のない説明タイプの前提を揺るがす。
• 研究者がNLPにおける人間の説明を収集・使用・評価する際、説明タイプを区別する必要があると提言する。

実験結果

リサーチクエスチョン

• RQ1 NLPにおける人間の説明にはどのような認知的タイプがあり、それらは構造的・目的的にどのように異なるか？
• RQ2 人間は予測の背後にある完全な推論プロセスをどれほど信頼性を持って説明できるか？
• RQ3 既存のヒューマン・エクスプランーションデータセットが、なぜモデルの評価や訓練のための一貫した基準とならないのか？
• RQ4 アノテーションで使われる代理質問は、収集される説明のタイプと質にどのように影響を与えるか？
• RQ5 日常的説明が不完全であることや、予測と説明のギャップといった心理的知見は、NLPにおける人間の説明の使用にどのような意味を持つのか？

主な発見

• NLPにおける'説明'という用語は、3つの異なる認知的タイプを含んでいる：近接的メカニズム（因果的推論）、証拠（関連する入力スパン）、手順（段階的な指示）。それぞれが異なる特性と用途を持つ。
• 人間は、正しいラベルを予測している場合でさえ、完全で正確な近接的メカニズムを提供できないことが多く、予測と説明の間の認知的ギャップが原因である。
• 日常的な説明は、公理的基盤や論理的導出を省くため、本質的に不完全である。これは、完全な合理的根拠を求める期待と矛盾する。
• 証拠に基づく説明（例：強調された単語）は推論を説明するものではないため、心理学的観点では説明とは見なされない。
• 手順は指示に従うという文脈では有用であるが、心理学的には説明とは見なされず、より適切には「指示に従った学習」の研究分野に近い。
• 説明を引き出すために使われる代理質問は、データセット間で大きく異なるため、説明タイプが一貫せず、すべてが'基準'であるという仮定を揺るがす。