[논문 리뷰] Commonsense Reasoning for Conversational AI: A Survey of the State of the Art

Christopher Richardson, Larry Heck|arXiv (Cornell University)|2023. 02. 15.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 대화형 AI에 상식 추론을 통합하는 최근 연구를 조사하고, 데이터세트, 방법, 벤치마크, BlenderBot3와 LaMDA의 예비 연구 결과를 자세히 다룬다. 공통점의 격차를 강조하고 개방형 대화에서 상식 이해를 위한 추가 연구를 촉진한다.

ABSTRACT

Large, transformer-based pretrained language models like BERT, GPT, and T5 have demonstrated a deep understanding of contextual semantics and language syntax. Their success has enabled significant advances in conversational AI, including the development of open-dialogue systems capable of coherent, salient conversations which can answer questions, chat casually, and complete tasks. However, state-of-the-art models still struggle with tasks that involve higher levels of reasoning - including commonsense reasoning that humans find trivial. This paper presents a survey of recent conversational AI research focused on commonsense reasoning. The paper lists relevant training datasets and describes the primary approaches to include commonsense in conversational AI. The paper also discusses benchmarks used for evaluating commonsense in conversational AI problems. Finally, the paper presents preliminary observations of the limited commonsense capabilities of two state-of-the-art open dialogue models, BlenderBot3 and LaMDA, and its negative effect on natural interactions. These observations further motivate research on commonsense reasoning in conversational AI.

연구 동기 및 목표

• 대화형 AI에서 상식 추론 문제를 동기 부여하고 정의하며 대화 작업에 미치는 영향을 규정한다.
• 일반적인 대화형 AI 문제를 분류하고(시퀀스 분류, QA, 대화 모델링, 대화 요약) 그것들의 상식과의 연관성을 논의한다.
• 대화 시스템에서 상식을 평가하는 데 사용되는 학습 데이터셋과 벤치마크를 검토한다.
• 상식을 도입하는 방법론적 접근법을 조사한다(모델 미세 조정, 지식 그래프 기초화, 자연어 설명).
• 현 시스템의 한계를 강조하고 향후 연구 방향을 제시한다.

제안 방법

• 접근법을 세 가지 주요 범주로 분류한다: 모델 미세 조정, 지식 그래프 기초화, 그리고 자연어 설명.
• 일상 대화 데이터셋(DailyDialogue, MuTual, DREAM, Ubuntu Dialogue Corpus 등)을 요약하고 비교한다.
• ConceptNet 및 ATOMIC과 같은 지식 그래프와 이 출처들에서 대화를 그라운딩하는 방법에 대해 논의한다.
• 추론 생성을 위한 COMET 및 그 파생 모델과 같은 신경망 상식 모델을 설명한다.
• 대화에서 상식을 평가하기 위한 벤치마크와 지표를 검토한다. QA 기반 및 비-QA 평가 접근법을 포함한다.
• 상식 추론의 현재 한계를 보여주기 위한 BlenderBot3와 LaMDA에 대한 예비 관찰을 제공한다.

실험 결과

연구 질문

• RQ1 대화형 AI 작업에서 상식을 평가하기 위해 어떤 데이터셋과 벤치마크가 존재하는가?
• RQ2 세 가지 폭넓은 방법론적 계열(미세 조정, KG 기초화, 자연어 설명)이 대화형 AI 문제 전반에서 어떻게 성능을 발휘하는가?
• RQ3 최신 최첨단 모델(예: BlenderBot3, LaMDA)의 상식 추론과 관련된 관찰된 격차는 무엇인가?
• RQ4 외부 상식 지식의 효과적인 원천은 무엇이며 이를 개방형 대화 시스템에 어떻게 통합할 수 있는가?

주요 결과

• 현재의 개방형 대화 모델에서 상식 추론은 여전히 제한적이며 자연스러운 상호작용에 영향을 준다.
• 외부 지식 원천( ConceptNet, ATOMIC)과 신경망 상식 모델(COMET 등)은 추론 보강에 사용되지만 한계가 있다.
• 세 가지 두드러진 접근법이 나타난다: 전용 데이터셋으로의 모델 미세 조정, 지식 그래프 기초화, 자연어 설명; 각각 강점과 trade-off가 있다.
• 벤치마크는 대부분 QA 중심이며, 엄격한 QA 작업을 넘어선 보다 광범위한 평가 지표에 대한 옹호가 커지고 있다.
• BlenderBot3와 LaMDA에 대한 예비 실험은 추론 및 명확화의 순간들을 보여주지만, 비논리적이거나 일관되지 않은 발화에서 현저한 실패도 나타내며, 더 많은 상식 통합의 필요성을 강조한다.