[논문 리뷰] CICERO: A Dataset for Contextualized Commonsense Inference in Dialogues

Deepanway Ghosal, Siqi Shen외 3명|arXiv (Cornell University)|2022. 03. 25.

Topic Modeling인용 수 4

한 줄 요약

CICERO는 5,672개의 이원 대화에서 수집된 53,105개의 문맥 기반 공통 지식 추론을 포함한 대규모 대화 중심 데이터셋으로, 원인, 후속 사건, 전제 조건, 동기, 정서적 반응의 다섯 가지 추론 유형을 포함한다. 이 데이터셋은 생성형 추론 및 다중 선택 과제와 같은 고급 NLP 과제를 가능하게 하며, T5, Unified QA와 같은 seq2seq 모델이 RoBERTa, ELECTRA와 같은 자동 회귀 모델보다 더 높은 성능을 보이며, 답변 후보를 함께 인코딩함으로써 성능 향상을 이룬다.

ABSTRACT

This paper addresses the problem of dialogue reasoning with contextualized commonsense inference. We curate CICERO, a dataset of dyadic conversations with five types of utterance-level reasoning-based inferences: cause, subsequent event, prerequisite, motivation, and emotional reaction. The dataset contains 53,105 of such inferences from 5,672 dialogues. We use this dataset to solve relevant generative and discriminative tasks: generation of cause and subsequent event; generation of prerequisite, motivation, and listener's emotional reaction; and selection of plausible alternatives. Our results ascertain the value of such dialogue-centric commonsense knowledge datasets. It is our hope that CICERO will open new research avenues into commonsense-based dialogue reasoning.

연구 동기 및 목표

• 대화에서 명시적으로 기재되지 않은 암시적 추론을 포함한 문맥 인식 기반 공통 지식 추론 데이터셋의 부족을 해결하기 위해.
• 고립된 어휘 조각을 넘어서 대화 수준의 미묘한 공통 지식 추론을 포괄하는 대규모 인간 레이블링 데이터셋을 구축하기 위해.
• 원인, 동기, 정서적 반응 추론을 포함한 문맥 기반 추론이 필요한 생성형 및 분류형 과제를 지원하기 위해.
• 명시적 사실이 아닌 대화 문맥에 기반한 암시적이고 추측 가능한 공통 지식을 모델이 활용할 수 있도록 하기 위해.
• 복잡하고 실제 대화 상황에서의 추론 과제를 평가하기 위한 벤치마크를 제공하기 위해.

제안 방법

• 애너테이터들은 대화와 목표 문장을 제공받고, 원인, 후속 사건, 전제 조건, 동기, 정서적 반응의 다섯 가지 유형에 대해 한 문장의 추론을 생성하도록 유도된다.
• 추론은 문맥에 명시적으로 존재하는 명시적 또는 문맥이 부족할 경우 공통 지식과 세계 지식에 기반한 추측적 형태일 수 있다.
• 세부 지침을 제공한 인간 애너테이터를 통해 데이터셋을 구축하여 문법적 정확성, 간결성, 대화 문맥과의 일관성을 확보한다.
• 데이터셋 기반 과제는 생성형(예: 원인 또는 정서적 반응 생성)과 분류형(예: 다수 후보 중 타당한 선택지 선택)으로 설계된다.
• 모델 평가에서는 단일 및 다중 답변 선택 과제를 모두 사용하며, T5와 Unified QA는 seq2seq 생성에, RoBERTa/ELECTRA는 시퀀스 분류에 사용된다.
• T5와 Unified QA에서 답변 후보를 함께 인코딩하면 RoBERTa와 ELECTRA의 별도 인코딩보다 성능 향상이 뚜렷하며, 특히 다중 답변 설정에서 유의미한 개선이 이루어진다.

실험 결과

연구 질문

• RQ1 대화의 문장에서 추론이 암시적인 경우, 모델이 원인, 동기 등의 타당한 공통 지식 추론을 효과적으로 생성할 수 있는가?
• RQ2 다중 선택 과제에서 답변 후보를 함께 인코딩하는 것이 별도 인코딩보다 성능 향상에 기여하는 정도는 어떠한가?
• RQ3 단일 답변과 다중 답변 인스턴스 간의 데이터 불균형이 공통 지식 추론 과제의 모델 성능에 미치는 영향은 어느 정도인가?
• RQ4 T5와 Unified QA와 같은 최신 모델이 RoBERTa와 ELECTRA에 비해 대화 전용 공통 지식 추론에 얼마나 잘 일반화되는가?
• RQ5 정적 지식 기반 시스템(예: ConceptNet 또는 ATOMIC)을 넘어서 대화 문맥에 기반한 공통 지식이 추론 성능 향상에 기여하는가?

주요 결과

• T5와 Unified QA는 답변 후보를 함께 인코딩함으로써 다중 선택 과제에서 RoBERTa와 ELECTRA를 앞서며, 더 많은 작업 관련 정보를 포착함으로써 성능 향상을 이룬다.
• 모델 간 성능 격차는 다중 답변 선택 과제에서 가장 두드러지며, T5와 Unified QA는 각각 정확도 3.38%, 3.60%의 정확 일치율을 기록함에 따라 데이터 불균형의 영향을 받는다.
• seq2seq 모델(T5, Unified QA)은 시퀀스 분류 모델(RoBERTa, ELECTRA)보다 동일한 과제에서 유의미하게 높은 성능을 보이며, 함께 인코딩하는 방식의 이점이 입증된다.
• 데이터셋은 추측 가능한 공통 지식 추론의 효과적인 평가를 가능하게 하며, 대화에 명시적 원인이나 동기가 존재하지 않더라도 애너테이터들이 타당한 추론을 성공적으로 생성함을 보여준다.
• CICERO는 문맥 인식 기반 공통 지식 추론이 대화 이해에 필수적임을 입증하며, ATOMIC이나 ConceptNet와 같은 문맥 무관 지식 기반 시스템에 의존하는 모델은 대화 수준의 미묘한 특징를 포착하지 못함을 보여준다.
• 인간이 암시적 추론을 기반으로 한 공통 지식 추론을 레이블링한 데이터셋의 구축은, 암시적이고 현실적인 대화 추론을 다룰 수 있도록 모델을 훈련시키는 데 실현 가능하고 가치 있는 방법임을 보여준다.