[논문 리뷰] Rationalization: A Neural Machine Translation Approach to Generating Natural Language Explanations

Upol Ehsan, Brent Harrison외 2명|arXiv (Cornell University)|2017. 02. 24.

Explainable Artificial Intelligence (XAI)인용 수 28

한 줄 요약

이 논문은 자율 에이전트 행동에 대한 인간과 유사한 자연어 설명을 생성하기 위해 내부 상태-행동 표현을 유창하고 직관적인 언어로 번역하는 신경 기계 번역 기반 접근법인 AI 리터럴화를 소개한다. 프로그래머 게임 환경에서 평가한 결과, 행동 선언형 또는 수치 기반 기준보다 더 만족스럽고 효과적인 설명을 도출하였으며, 인간 사용자의 만족도와 인지적 유대감을 크게 향상시켰다.

ABSTRACT

We introduce AI rationalization, an approach for generating explanations of autonomous system behavior as if a human had performed the behavior. We describe a rationalization technique that uses neural machine translation to translate internal state-action representations of an autonomous agent into natural language. We evaluate our technique in the Frogger game environment, training an autonomous game playing agent to rationalize its action choices using natural language. A natural language training corpus is collected from human players thinking out loud as they play the game. We motivate the use of rationalization as an approach to explanation generation and show the results of two experiments evaluating the effectiveness of rationalization. Results of these evaluations show that neural machine translation is able to accurately generate rationalizations that describe agent behavior, and that rationalizations are more satisfying to humans than other alternative methods of explanation.

연구 동기 및 목표

• 비전문가가 이해하기 쉽게 자율 에이전트 결정 과정을 해석할 수 있도록 인간 중심의 설명 생성 방법을 개발하기 위해.
• 순차적 의사결정 시스템에 대한 설명 가능성 AI의 격차를 해소하기 위해 설명을 자연어 번역으로 모델링하기 위해.
• 신경 기계 번역이 정확하고 만족스러운 설명을 생성하여 사용자 신뢰도와 유대감을 향상시킬 수 있는지 평가하기 위해.
• 사용자가 설명 품질을 어떻게 평가하는지에 기반한 설명 가능한 에이전트를 위한 설계 원칙을 도출하기 위해.

제안 방법

• 프로거 게임을 플레이하는 동안 인간 플레이어가 자신의 사고 과정을 기술한 자연어 코퍼스를 수집하여, 상태-행동 쌍과 해당 설명을 포함한 병렬 데이터셋을 구축하기 위해.
• 내부 에이전트 상태-행동 표현을 자연어 리터럴로 매핑하기 위해 인코더-디코더 신경망(시퀀스-투-시퀀스 모델)을 훈련하기 위해.
• 실시간으로 게임 플레이 중 에이전트 결정에 대한 자연어 설명을 생성하기 위해 훈련된 모델을 활용하기 위해.
• 사용자 연구를 통해 리터럴화 설명을 행동 선언형 및 수치 기반 기준과 비교하여 설명 품질을 평가하기 위해.
• 정성적 피드백에 주제 분석을 적용하여 만족스러운 설명의 핵심 속성을 규명하기 위해.
• 반사적 데이터를 활용하여 번역 정확도와 모델 성능을 평가하고 맥락에 맞는 리터럴을 생성하는 능력을 점검하기 위해.

실험 결과

연구 질문

• RQ1 신경 기계 번역이 에이전트의 내부 상태와 행동 선택을 정확하게 반영하는 자연어 설명을 효과적으로 생성할 수 있는가?
• RQ2 사용자들은 AI 생성 리터럴화 설명을 다른 설명 형식과 비교해 얼마나 만족도와 품질을 높게 평가하는가?
• RQ3 설명의 품질에 가장 큰 영향을 미치는 요소들—예를 들어 설명력, 공감대 형성 능력, 세부 정보 수준—는 무엇인가?
• RQ4 리터럴화 설명의 인간과 유사한 의사소통 스타일이 사용자 간의 신뢰도, 자신감, 협업 의지에 어떤 영향을 미치는가?

주요 결과

• 신경 기계 번역 기반 리터럴화 시스템은 행동 선언형 및 수치 기반 기준보다 사용자 만족도 평가에서 유의미하게 높은 점수를 기록하였다.
• 참가자들은 리터럴화 에이전트의 설명 덕분에 에이전트의 동기와 행동을 이해할 수 있었으며, 이는 유대감과 신뢰도를 향상시켰다.
• 만족스러운 설명으로 가장 자주 언급된 속성은 설명력, 공감대 형성 능력, 루디크(유머러스한) 톤, 적절한 세부 정보 수준이었으며, 일부 사용자는 간결함과 깊이 사이의 균형을 선호했다.
• 행동 선언형 로봇은 자연어를 사용하고는 있었지만, 정보가 부족하고 실망스럽다고 평가되어 언어적 형태보다는 설명의 내용이 훨씬 중요함을 시사했다.
• 주제 분석 결과, 인간과 유사한 의사소통 스타일—예를 들어 인격성과 유머러스함의 인식—이 사용자 참여도와 만족도에 크게 기여했다.
• 이러한 결과는 AI 리터럴화가 비전문가 사용자에게 더 접근 가능하고 사용하기 쉽게 만드는 실질적인 인간 중심의 설명 가능성 AI 접근법임을 뒷받침한다.