[논문 리뷰] Automated Rationale Generation: A Technique for Explainable AI and its Effects on Human Perceptions

Upol Ehsan, Pradyumna Tambwekar외 3명|arXiv (Cornell University)|2019. 01. 11.

Explainable Artificial Intelligence (XAI)참고 문헌 37인용 수 44

한 줄 요약

이 논문은 Frogger에서 에이전트의 행동에 대해 인간과 유사한 자연어 설명을 생성하는 신경 합리성 생성기를 학습시키고, 집중 뷰(focused-view)와 전체 뷰(complete-view) 구성을 두 가지 사용자 연구를 통해 품질 인식과 선호를 비교한다.

ABSTRACT

Automated rationale generation is an approach for real-time explanation generation whereby a computational model learns to translate an autonomous agent's internal state and action data representations into natural language. Training on human explanation data can enable agents to learn to generate human-like explanations for their behavior. In this paper, using the context of an agent that plays Frogger, we describe (a) how to collect a corpus of explanations, (b) how to train a neural rationale generator to produce different styles of rationales, and (c) how people perceive these rationales. We conducted two user studies. The first study establishes the plausibility of each type of generated rationale and situates their user perceptions along the dimensions of confidence, humanlike-ness, adequate justification, and understandability. The second study further explores user preferences between the generated rationales with regard to confidence in the autonomous agent, communicating failure and unexpected behavior. Overall, we find alignment between the intended differences in features of the generated rationales and the perceived differences by users. Moreover, context permitting, participants preferred detailed rationales to form a stable mental model of the agent's behavior.

연구 동기 및 목표

• 게임 상태와 행동에 연결된 원격 사고 구동 프로토콜을 통해 고품질 인간 설명 말뭉치를 생성한다.
• 상태-행동 표현을 자연어 합리으로 번역하는 인코더-디코더 신경 모델을 학습한다.
• 합리성 스타일이 신뢰도, 인간 유사성, 정당화, 이해가능성에 미치는 영향을 평가한다.
• 집중 뷰 vs 전체 뷰 합리 생성기를 비교하고 설계 목표와의 정렬 및 사용자 선호를 분석한다.

제안 방법

• 수정된 Frogger 인터페이스를 사용하여 게임 상태에 페어링된 사고 구동 설명의 대규모 말뭉치를 수집한다.
• 직렬화된 상태-행동 입력을 합리으로 번역하기 위해 GRU 셀과 주의(attention) 메커니즘이 있는 인코더-디코더 RNN을 학습한다.
• 두 가지 입력 구성에서 실험한다: 집중 뷰(focused-view, 7x7 로컬 윈도우) 및 전체 뷰(complete-view, 입력 노이즈가 추가된 전체 보드).
• 합리 생성기에 대해 100 에폭의 학습을 수행하고 타당성 및 지각 차원을 사용자 연구를 통해 평가한다.
• 자신감, 인간적 유사성, 충분한 정당화, 이해가능성을 측정하는 두 가지 사용자 연구를 수행하며 예시 및 임의 기준선과의 비교를 포함한다.

실험 결과

연구 질문

• RQ1 생성된 합리화(집중 뷰 및 전체 뷰)가 타당성과 지각된 품질에서 임의 기준선보다 우수한가?
• RQ2 합리화는 지각된 자신감, 인간 유사성, 정당화 적합성, 이해가능성에서 어떻게 다른가?
• RQ3 전체 뷰 추론이 집중 뷰 추론에 비해 사용자 인식에 다른 영향을 주는가?
• RQ4 사용자들은 한 가지 합리성 스타일(집중 뷰 vs 전체 뷀) 을 선호하는가, 그리고 그 이유는 무엇인가?

주요 결과

• 집중 뷰와 전체 뷰 합리화는 네 가지 지각 차원 전부에서 임의 기준선보다 유의하게 더 우수하게 나타난다.
• 모범적인 인간 합리화는 후보 합리화보다 더 높은 점수를 받으며 구성에 따라 차이가 있다.
• 전체 뷰 후보 합리화가 일반적으로 집중 뷰 후보 합리화보다 더 높은 평가를 받는다.
• 맥락적 정확성, 인식, 전략적 세부 정보가 포함된 합리화가 더 높은 자신감과 이해가능성을 유도하며, 이해가능성만으로는 높은 자신감을 얻기에 충분치 않다.
• 맥락이 허용될 때 상세하고 전체적인 설명을 제공하는 합리화를 참가자들이 선호하여 안정적인 사고 모델 형성에 도움을 준다.