[논문 리뷰] Probing Causal Common Sense in Dialogue Response Generation.

Pei Zhou, Pegah Jandaghi외 4명|arXiv (Cornell University)|2021. 04. 19.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대화 응답에 대한 원인적 설명으로서의 대화 공통지식을 체계화하는 CEDAR라는 작업을 제안하고, 응답 생성 모델이 이러한 설명에 대해 논리적으로 추론할 수 있는지 평가하기 위한 탐색적 프레임워크를 제안한다. 결과적으로 모델들은 논리적 타당성에 어려움을 겪지만 문법적 자연스러움은 쉽게 감지하는 것으로 나타났다.

ABSTRACT

Communication is a cooperative effort that requires reaching mutual understanding among the participants. Humans use commonsense reasoning implicitly to produce natural and logically-coherent responses. As a step towards fluid human-AI communication, we study if response generation (RG) models can emulate human reasoning process and use common sense to help produce better-quality responses. We aim to tackle two research questions: how to formalize conversational common sense and how to examine RG models capability to use common sense? We first propose a task, CEDAR: Causal common sEnse in DiAlogue Response generation, that concretizes common sense as textual explanations for what might lead to the response and evaluates RG models behavior by comparing the modeling loss given a valid explanation with an invalid one. Then we introduce a process that automatically generates such explanations and ask humans to verify them. Finally, we design two probing settings for RG models targeting two reasoning capabilities using verified explanations. We find that RG models have a hard time determining the logical validity of explanations but can identify grammatical naturalness of the explanation easily.

연구 동기 및 목표

• 대화 응답에 대한 대화 공통지식을 원인적 텍스트 설명으로 체계화하는 것.
• 응답 생성 모델이 이러한 설명에 대해 논리적으로 추론할 수 있는지 평가하는 것.
• 인간 검증을 활용한 자동화된 방법으로 설명을 생성하고 검증하는 것.
• 응답 생성 모델의 두 가지 별개의 추론 능력(논리적 타당성과 문법적 자연스러움)을 테스트하는 탐색 설정을 설계하는 것.
• 현재의 응답 생성 모델이 대화에서 인간과 유사한 공통지식 추론을 어느 정도 모방하고 있는지 평가하는 것.

제안 방법

• 대화의 공통지식을 이전 대화 맥락과 응답을 연결하는 원인적 설명으로 정의하는 CEDAR를 제안한다.
• 주어진 대화-응답 쌍에 대해 후보 설명을 자동으로 생성하는 파이프라인을 설계한다.
• 인간의 코딩을 통해 생성된 설명의 품질과 타당성을 검증한다.
• 논리적 타당성의 민감도를 테스트하는 탐색 설정과 문법적 자연스러움의 민감도를 테스트하는 탐색 설정을 각각 구성한다.
• 유효한 설명과 무효한 설명에 대한 손실를 비교하여 모델의 행동을 측정한다.
• 유효한 설명과 무효한 설명 간의 손실 차이를 논리적 추론 능력의 대리 척도로 사용한다.

실험 결과

연구 질문

• RQ1 대화 응답 생성에서 대화 공통지식를 원인적 설명으로 체계화할 수 있는 방법은 무엇인가?
• RQ2 응답 생성 모델이 원인적 설명의 논리적 타당성을 어느 정도 감지할 수 있는가?
• RQ3 RG 모델는 문법적으로 자연스럽고 자연스럽지 않은 설명을 구분할 수 있는가?
• RQ4 탐색 설정에서 유효한 원인적 설명과 무효한 원인적 설명을 제공했을 때 모델의 손실는 어떻게 달라지는가?
• RQ5 현재의 RG 모델가 인간과 유사한 공통지식 추론을 모방하는 데에 있어 어떤 한계를 지니는가?

주요 결과

• RG 모델는 원인적 설명의 논리적 타당성을 판단하는 데에 상당한 어려움을 겪으며, 깊이 있는 공통지식 추론의 부재를 시사한다.
• 모델는 설명의 문법적 자연스러움을 쉽게 식별할 수 있어 표면적 유창성에 민감함을 보인다.
• 유효한 설명과 무효한 설명 간의 손실 차이가 작아 논리적 근거에 대한 구분 능력이 약함을 시사한다.
• 인간이 검증한 설명은 공통지식 추론에서 신뢰할 수 있는 탐색 기준을 구축하는 데 필수적이다.
• 현재의 RG 모델는 응답 생성 시 논리적 일관성보다는 유창성과 통일성을 우선시한다.
• 인간의 추론과 모델의 행동 간 격차는 인간과 유사한 대화 이해를 달성하는 데 있어 핵심 과제임을 드러낸다.