[논문 리뷰] Evaluating computational models of explanation using human judgments

Michael Pacer, Joseph Jay Williams외 3명|arXiv (Cornell University)|2013. 09. 26.

Bayesian Modeling and Causal Inference참고 문헌 14인용 수 24

한 줄 요약

이 논문은 두 개의 실험에서 인간의 판단과 비교하여 베이지안 네트워크 내 설명의 네 가지 계산 모델을 평가한다. 인간 데이터와 가장 잘 맞는 것은 원인 설명 트리(Causal Explanation Tree) 및 가장 관련 있는 설명(Most Relevant Explanation) 모델이며, 이는 인간의 추론과 더 강한 일치를 보이며, 가장 가능성 있는 설명(Most Probable Explanation) 또는 설명 트리(Explanation Tree) 모델보다 더 우수하다. 이는 계산적 접근과 심리학적 접근을 통합하는 설명의 가치를 강조한다.

ABSTRACT

We evaluate four computational models of explanation in Bayesian networks by comparing model predictions to human judgments. In two experiments, we present human participants with causal structures for which the models make divergent predictions and either solicit the best explanation for an observed event (Experiment 1) or have participants rate provided explanations for an observed event (Experiment 2). Across two versions of two causal structures and across both experiments, we find that the Causal Explanation Tree and Most Relevant Explanation models provide better fits to human data than either Most Probable Explanation or Explanation Tree models. We identify strengths and shortcomings of these models and what they can reveal about human explanation. We conclude by suggesting the value of pursuing computational and psychological investigations of explanation in parallel.

연구 동기 및 목표

• 인간의 인지적 판단과 인과적 추론에서 계산 모델의 설명이 얼마나 잘 일치하는지 평가하기.
• 실제 인간 데이터를 사용하여 베이지안 네트워크 기반의 네 가지 설명 모델의 예측 정확도를 비교하기.
• 인간 설명의 구조와 선호도를 가장 잘 반영하는 계산 모델을 특정하기.
• 모델 성능의 함의를 이해하는 데 있어 인간 설명 과정의 본질을 밝히기.
• 계산 모델과 심리학적 모델의 설명을 동시에 탐구할 것을 주장하기.

제안 방법

• 인간 참가자가 인과적 베이지안 네트워크에서 관찰된 사건에 대한 설명을 평가하는 두 개의 통제 실험을 실시하기.
• 모델의 강건성 테스트를 위해 두 가지 다른 인과적 구조를 각각 두 가지 버전으로 사용하기.
• 가장 가능성 있는 설명, 설명 트리, 원인 설명 트리, 가장 관련 있는 설명의 네 가지 계산 모델을 적용하여 인간의 판단을 예측하기.
• 실험 1에서는 최적의 설명에 대한 인간의 판단을 수집하고, 실험 2에서는 제공된 설명의 품질에 대한 판단을 수집하기.
• 모델 예측을 인간의 반응과 통계적 적합도 측정을 통해 비교하여 모델 성능 평가하기.
• 모델 비교 기법을 사용하여 인간 설명 선호도와 가장 잘 맞는 모델을 특정하기.

실험 결과

연구 질문

• RQ1 베이지안 네트워크에서 인간의 설명 품질 판단을 가장 정확하게 예측하는 계산 모델은 무엇인가?
• RQ2 예를 들어 가장 가능성 있는 설명과 가장 관련 있는 설명과 같은 다양한 설명 모델은 인간의 추론을 예측하는 데 얼마나 잘 기능하는가?
• RQ3 원인 설명 트리 및 가장 관련 있는 설명 모델은 인간의 설명 선호도와 어느 정도 일치하는가?
• RQ4 모델과 인간의 판단 간의 괴리에서 인간 설명의 본질은 무엇을 드러내는가?
• RQ5 계산 모델과 심리학적 연구는 서로 어떤 방식으로 상호보완적인 정보를 제공할 수 있는가?

주요 결과

• 원인 설명 트리 및 가장 관련 있는 설명 모델은 가장 가능성 있는 설명 및 설명 트리 모델보다 인간 판단 데이터와 유의미하게 더 잘 맞는다.
• 두 실험 모두에서 원인 설명 트리 모델은 다양한 인과적 구조와 설명 과제에서 강력한 예측 정확도를 보였다.
• 가장 관련 있는 설명 모델은 인간이 간결하고 관련 있는 설명을 선호하는 경향을 가장 잘 반영하여 다른 모델보다 뛰어난 성능을 보였다.
• 가장 가능성 있는 설명 모델은 논리적으로 타당하지만, 복잡하거나 모호한 인과적 상황에서는 인간의 직관과 일치하지 못했다.
• 설명 트리 모델은 중간 정도의 성능를 보였지만, 설명의 관련성보다는 구조적 복잡성에 과적합되는 경향을 보였다.
• 결과적으로, 관련성과 인과적 구조 일치를 강조하는 모델이 인간의 설명 행동을 더 잘 반영하는 것으로 나타났다.