[論文レビュー] Evaluating computational models of explanation using human judgments

Michael Pacer, Joseph Jay Williams+3 more|arXiv (Cornell University)|Sep 26, 2013

Bayesian Modeling and Causal Inference参考文献 14被引用数 24

ひとこと要約

本稿では、2つの実験を通じて人間の判断と比較することで、ベイジアンネットワークにおける説明の4つの計算モデルを評価している。Causal Explanation TreeおよびMost Relevant Explanationモデルが人間のデータと最もよく一致し、Most Probable ExplanationやExplanation Treeモデルよりも人間の推論とより強い整合性を示している。また、説明の計算的・心理的アプローチを統合することの価値を強調している。

ABSTRACT

We evaluate four computational models of explanation in Bayesian networks by comparing model predictions to human judgments. In two experiments, we present human participants with causal structures for which the models make divergent predictions and either solicit the best explanation for an observed event (Experiment 1) or have participants rate provided explanations for an observed event (Experiment 2). Across two versions of two causal structures and across both experiments, we find that the Causal Explanation Tree and Most Relevant Explanation models provide better fits to human data than either Most Probable Explanation or Explanation Tree models. We identify strengths and shortcomings of these models and what they can reveal about human explanation. We conclude by suggesting the value of pursuing computational and psychological investigations of explanation in parallel.

研究の動機と目的

• 計算的説明モデルが因果的推論における人間の認知的判断とどの程度整合するかを評価すること。
• 実証的人間データを用いて、4つのベイジアンネットワークベースの説明モデルの予測精度を比較すること。
• どの計算的モデルが人間の説明の構造と好みを最もよく捉えているかを特定すること。
• モデルのパフォーマンスの意味が、人間の説明プロセスの理解にどのように寄与するかを探索すること。
• 計算的モデルと心理的モデルの両方を並行して調査することを提唱すること。

提案手法

• 人間参加者を対象に、因果的ベイジアンネットワークにおける観察事象の説明を評価する2つの制御実験を実施する。
• モデルのロバストネスを検証するため、2つの異なる因果構造を用い、それぞれ2つのバージョンを設定する。
• 人間の判断を予測するために、4つの計算モデル（Most Probable Explanation、Explanation Tree、Causal Explanation Tree、Most Relevant Explanation）を適用する。
• 実験1では、最良の説明を人間が選択するのを、実験2では、提供された説明の質を評価する。
• 統計的適合度指標を用いて、モデルの予測と人間の反応を比較し、モデルのパフォーマンスを評価する。
• モデル比較手法を用いて、人間の説明好みに最も近いモデルを特定する。

実験結果

リサーチクエスチョン

• RQ1 どの計算的説明モデルが、ベイジアンネットワークにおける人間の説明品質判断を最も正確に予測できるか？
• RQ2 Most Probable ExplanationやMost Relevant Explanationといった異なる説明モデルは、人間の推論を予測する能力においてどのように比較されるか？
• RQ3 Causal Explanation TreeおよびMost Relevant Explanationモデルは、人間の説明好みとどの程度整合するか？
• RQ4 モデルと人間の判断との乖離が、人間の説明の本質について何を明らかにするか？
• RQ5 計算的モデルと心理的研究の両方が、互いにどのように説明の理解を深めるか？

主な発見

• Causal Explanation TreeおよびMost Relevant Explanationモデルは、Most Probable ExplanationおよびExplanation Treeモデルよりも、人間の判断データに対して有意に高い適合度を示した。
• 両実験において、Causal Explanation Treeモデルは多様な因果構造と説明タスクにおいて高い予測精度を示した。
• Most Relevant Explanationモデルは、簡潔で関連性の高い説明を人間が好む傾向を捉える点で、他のモデルを上回った。
• Most Probable Explanationモデルは論理的に整合性があるが、複雑または曖昧な因果状況では人間の直感と一致しなかった。
• Explanation Treeモデルは中程度のパフォーマンスを示したが、説明の関連性ではなく構造の複雑さに過剰適合する傾向にあった。
• 結果から、関連性と因果構造の整合性に重きを置いたモデルが、人間の説明行動をよりよく反映していることが示唆された。