[논문 리뷰] Explanation in Artificial Intelligence: Insights from the Social Sciences

Tim Miller|arXiv (Cornell University)|2017. 06. 22.

Explainable Artificial Intelligence (XAI)인용 수 29

한 줄 요약

이 논문은 설명 가능한 인공지능(XAI)이 사회과학—특히 철학, 인지심리학, 사회심리학—의 통찰을 통합해야 더 효과적이고 인간 중심의 설명을 구현할 수 있다고 주장한다. 사람들이 설명을 어떻게 생성하고 선택하며 평가하는지 모델링함으로써, 대조적이고 사회적으로 상호작용적인, 인과 기반의 설명을 통해 신뢰도, 관련성, 해석 가능성의 향상을 이룰 수 있다.

ABSTRACT

There has been a recent resurgence in the area of explainable artificial intelligence as researchers and practitioners seek to make their algorithms more understandable. Much of this research is focused on explicitly explaining decisions or actions to a human observer, and it should not be controversial to say that looking at how humans explain to each other can serve as a useful starting point for explanation in artificial intelligence. However, it is fair to say that most work in explainable artificial intelligence uses only the researchers' intuition of what constitutes a `good' explanation. There exists vast and valuable bodies of research in philosophy, psychology, and cognitive science of how people define, generate, select, evaluate, and present explanations, which argues that people employ certain cognitive biases and social expectations towards the explanation process. This paper argues that the field of explainable artificial intelligence should build on this existing research, and reviews relevant papers from philosophy, cognitive psychology/science, and social psychology, which study these topics. It draws out some important findings, and discusses ways that these can be infused with work on explainable artificial intelligence.

연구 동기 및 목표

• 현재 XAI에서 직관적인 접근 방식을 넘어서 설명의 품질을 향상시켜 신뢰할 수 있는 AI 시스템의 증가하는 수요를 충족시키기 위해.
• 연구자들의 직관에 의존하는 현재 XAI 연구의 핵심적 한계를 밝혀내며, 인간 설명에 대한 증거 기반 모델이 아닌 바탕을 제공하기 위해.
• 철학, 심리학, 인지과학 분야에서의 설명 생성, 선택, 평가에 대한 통합된 연구 결과를 바탕으로 XAI와 사회과학 간 격차를 메우기 위해.
• XAI 시스템이 인간의 설명 과정—특히 대조적, 사회적으로 상호작용하는, 인과적으로 구성된 설명—을 모델링해야 사용자 신뢰도와 이해도를 향상시킬 수 있다는 제안을 위해.
• 의도성, 규범, 통제 가능성, 관련성과 같은 사회적 및 인지적 요소를 통합함으로써 설명의 효과성을 높이는 중요성을 부각하기 위해.

제안 방법

• 철학, 인지심리학, 사회심리학 분야의 인간 설명 과정에 관한 기초 문헌을 체계적으로 검토한다.
• 추론적 추론, 인과적 소속, 대조적 설명, 설명의 일관성과 같은 핵심 개념을 XAI 설계 원칙에 매핑한다.
• 설명 선택 편향(예: 비정상성, 필요성, 통제 가능성)에 대한 연구 결과를 XAI 모델 개발에 통합하여 관련 정보를 우선순위화한다.
• 인간 의사소통의 대화적이고 논증적 구조를 영감으로 삼아 대화형이고 상호작용적인 설명 모델을 제안한다.
• Malle의 사회적 소속 개념 모델과 사고 이론을 적용하여 인간의 기대에 부합하는 에이전트 행동 설명을 모델링한다.
• 사용자 목표, 규범, 신뢰 수준 등 설명의 맥락이 설명의 내용과 구조에 어떻게 영향을 주는지 강조한다.

실험 결과

연구 질문

• RQ1 사람들은 사회적 및 인지적 맥락에서 설명을 어떻게 정의하고 생성하며 평가하는가? 이러한 과정은 XAI에 어떻게 기여할 수 있는가?
• RQ2 왜 인간의 추론과 신뢰 구축에서 대조적 설명은 비대조적 설명보다 더 효과적인가?
• RQ3 비정상성, 통제 가능성, 의도성과 같은 인지 편향은 설명 선택과 평가에 어떻게 영향을 미치는가?
• RQ4 사회적이고 상호작용적인 설명 모델은 AI 시스템에서 사용자 신뢰도와 이해도를 어떻게 향상시킬 수 있는가?
• RQ5 XAI 시스템은 어떻게 설계되어야 하며, 인과적 일관성과 관련성을 유지하면서도 설명의 뻣뻣함을 피할 수 있는가?

주요 결과

• 대조적 설명—'왜 이건가요, 저건가요?'에 대한 답변—은 인간 설명의 핵심이며, XAI 시스템에서 중심이 되어야 한다.
• 설명 선택은 비정상성, 통제 가능성, 의도성과 같은 특성으로 인해 본질적으로 편향되어 있으며, 이러한 요소를 XAI에서 모델링함으로써 관련성을 향상시킬 수 있다.
• 사람들은 진리나 확률 외에도 일관성, 단순성, 목표에의 부합 여부에 따라 설명을 평가하므로, 설명의 품질은 맥락에 따라 달라진다.
• 사회적이고 상호작용적인 설명, 특히 대화 구조와 암시적 의미는 AI 시스템에서 사용자 신뢰도와 이해도를 크게 향상시킨다.
• 설명은 중립적이지 않다. 사용자는 설명의 의도를 통해 설명을 해석하므로, 목적에 대한 투명성 확보가 편향으로 여겨지는 것을 방지하기 위해 필수적이다.
• 과도하게 세부적인 인과적 사슬은 핵심 정보를 흐리게 할 수 있으므로, 설명은 선택적이고 맥락에 민감해야 효과적으로 유지될 수 있다.