[논문 리뷰] Towards a Grounded Dialog Model for Explainable Artificial Intelligence

Prashan Madumal, Tim Miller외 2명|arXiv (Cornell University)|2018. 06. 21.

Explainable Artificial Intelligence (XAI)참고 문헌 17인용 수 21

한 줄 요약

이 논문은 6종류의 자연적 설명 대화 398건을 분석한 바탕으로, 설명 가능한 인공지능(XAI)을 위한 데이터 기반, 근거 기반의 대화 모델을 제안한다. 전사된 대화에 대한 기반 이론 분석을 통해 인간의 설명 과정에서의 핵심 구성요소, 순서, 순환적 상호작용을 규명하며, 사회인지적 신뢰를 향상시키기 위한 상호작용적이고 반복적인 설명 대화 구조를 제안한다. 이는 더 직관적이고 신뢰할 수 있는 XAI 시스템을 구축하는 데 기초가 된다.

ABSTRACT

To generate trust with their users, Explainable Artificial Intelligence (XAI) systems need to include an explanation model that can communicate the internal decisions, behaviours and actions to the interacting humans. Successful explanation involves both cognitive and social processes. In this paper we focus on the challenge of meaningful interaction between an explainer and an explainee and investigate the structural aspects of an explanation in order to propose a human explanation dialog model. We follow a bottom-up approach to derive the model by analysing transcripts of 398 different explanation dialog types. We use grounded theory to code and identify key components of which an explanation dialog consists. We carry out further analysis to identify the relationships between components and sequences and cycles that occur in a dialog. We present a generalized state model obtained by the analysis and compare it with an existing conceptual dialog model of explanation.

연구 동기 및 목표

• 설명 가능한 인공지능(XAI) 시스템에서 상호작용적이고 사용자 중심의 설명 모델이 부족한 문제를 해결하기 위해.
• 이론적 가정이 아닌 실제 대화 데이터에 기반한 일반화된 설명 대화 모델을 개발하기 위해.
• 질문, 확인, 반복적 명료화를 포함한 설명의 사회인지적 역동성을 모델링하기 위해.
• 자연스러운 인간 설명 대화를 모방함으로써 XAI 시스템의 신뢰성과 사용성 향상시키기 위해.
• 동적 사용자 참여를 지원하는 상호작용적이고 설명 가능한 AI 시스템을 구축하는 기초를 제공하기 위해.

제안 방법

• 인간-인간 Q&A, 인간-에이전트 Q&A, 인간-에이전트 작업, 인간-에이전트 계획, 인간-에이전트 장애 진단, 인간-에이전트 피드백의 6종류의 대화 유형에서 전사된 398건의 설명 대화에 대해 기반 이론 분석을 수행하였다.
• 설명, 확인, 질문, 명료화 등의 설명 대화의 핵심 구성요소를 식별하고 코드화하였다.
• 구성요소 간 빈도, 순서, 관계를 분석하였으며, 반복적 질문과 명료화를 포함한 순환 패턴도 분석하였다.
• 관찰된 패턴과 구조적 관계를 바탕으로 일반화된 설명 대화 상태 모델을 개발하였다.
• 제안된 모델를 Walton의 개념적 설명 대화 모델과 비교하여 일반성과 구조적 정확성을 검증하였다.
• 반복적 코드화와 주제 분석을 통해 자연스럽고 상호작용적인 설명 과정을 반영한 모델을 도출하였다.

실험 결과

연구 질문

• RQ1 인간과 에이전트 간 자연스러운 설명 대화의 핵심 구조적 구성요소는 무엇인가?
• RQ2 설명, 확인, 질문 등의 구성요소가 설명 대화 내에서 어떻게 순서와 관계를 맺는가?
• RQ3 다양한 상호작용 유형에서 나타나는 패턴, 특히 순환적 상호작용은 무엇인가?
• RQ4 제안된 대화 모델은 기존의 개념적 설명 대화 모델과 어떻게 비교되는가?
• RQ5 데이터 기반의 설명 대화 모델이 XAI 시스템의 신뢰성과 사용성 향상에 어느 정도 기여할 수 있는가?

주요 결과

• 가장 빈도가 높은 대화 구성요소는 '설명'이며, 그 다음으로 '확인'과 '질문'이 뒤를 이으며, '명료화'와 '다시 표현'도 흔히 발생한다.
• 가장 흔한 대화 순서는 설명으로 시작하여 설명 수신자가 확인하고, 설명자가 다시 확인하는 것으로 구성되며, 이는 설명 수용에 대한 피드백 루프를 나타낸다.
• 설명 수신자가 설명을 듣고 후속 질문을 하는 순환적 대화 패턴이 널리 퍼져 있으며, 특히 장애 진단 및 피드백 대화에서 두드러진다.
• 설명 대화가 주로 설명 또는 설명자의 확인으로 끝나므로, 설명 완료는 명시적 종료가 아니라 확인을 통해 표시되는 경우가 많다.
• 설명자가 다시 질문하는 경우는 드물며, 모든 대화 유형에서 '반복 질문 없음'이 가장 흔한 종료 순서이다.
• 제안된 모델는 다양한 대화 유형에 일반화되며, 이전의 이상화된 개념 모델에서 부족했던 반복적이고 상호작용적인 역동성을 포괄한다.