[논문 리뷰] Multiview Contextual Commonsense Inference: A New Dataset and Task

Siqi Shen, Deepanway Ghosal외 4명|arXiv (Cornell University)|2022. 10. 06.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 다섯 가지 차원—원인, 이어지는 사건, 동기, 반응—에서 대화의 다중 시각 공감 추론에 대한 8,351개의 인간 레이블이 부여된 CICERO v2라는 새로운 데이터셋을 소개한다. 또한 개념 정제와 발화 정렬과 같은 새로운 목표로 사전 훈련된 T5-Large 모델인 DIALeCT를 제안하며, 특히 자원이 부족한 환경에서 표준 T5-Large에 비해 일관된 성능 향상을 보이며, 훈련 데이터의 20%에서 5퍼센트 이상의 정확도 향상을 기록한다.

ABSTRACT

Contextual commonsense inference is the task of generating various types of explanations around the events in a dyadic dialogue, including cause, motivation, emotional reaction, and others. Producing a coherent and non-trivial explanation requires awareness of the dialogue's structure and of how an event is grounded in the context. In this work, we create CICEROv2, a dataset consisting of 8,351 instances from 2,379 dialogues, containing multiple human-written answers for each contextual commonsense inference question, representing a type of explanation on cause, subsequent event, motivation, and emotional reaction. We show that the inferences in CICEROv2 are more semantically diverse than other contextual commonsense inference datasets. To solve the inference task, we propose a collection of pre-training objectives, including concept denoising and utterance sorting to prepare a pre-trained model for the downstream contextual commonsense inference task. Our results show that the proposed pre-training objectives are effective at adapting the pre-trained T5-Large model for the contextual commonsense inference task.

연구 동기 및 목표

• 대화에서 고품질, 다양성 있는 인간 레이블이 부여된 공감 추론의 부족을 해결하기 위해, 특히 다중 시각 추론을 위한 것이다.
• 기존 데이터셋이 인간의 다양한 답변 대신 악성으로 걸러진 저다양성의 모델 생성 설명에 의존하는 한계를 극복하기 위해이다.
• 대화 이해를 위한 언어 모델이 더 깊은 공감 추론 능력을 갖출 수 있도록 사전 훈련 프레임워크를 개발하기 위해이다.
• 라벨이 부족한 환경에서 공감 인식 사전 훈련 목표의 효과를 평가하기 위해이다.
• 다중 시각, 비단순 설명을 위한 데이터셋과 모델 아키텍처를 통해 대화에서 더 견고하고 다양한 공감 추론을 가능하게 하기 위해이다.

제안 방법

• CICERO v2는 DailyDialog, MuTual, DREAM 세 가지 고품질 대화 데이터셋에서 유도어, 다중 구체적인 인간 레이블이 부여된 설명을 수집하여 구성된다.
• 이 데이터셋은 2,379개의 대화에서 8,351개의 인스턴스를 포함하며, 원인, 이어지는 사건, 동기, 정서적 반응의 네 가지 추론 유형을 포함한다.
• DIALeCT는 CICERO를 사용해 사전 훈련되며, 개념 정제(마스킹된 공감 개념 복구)와 발화 정렬(대화의 구조와 일관성 학습)과 같은 새로운 목표를 사용한다.
• 이 사전 훈련 목표는 모델의 맥락 기반 인식과 공감 지식 인식 능력을 향상시켜 대화 역사에 대한 추론 능력을 향상시키기 위해 설계되었다.
• 사전 훈련 후, DIALeCT는 다중 시각 공감 추론 작업에 대해 미세조정되며, 후보 목록에서 다수의 정답을 선택한다.
• 모델는 훈련 데이터의 20퍼센트만 사용하여 저자원 조건에서 평가되며, 이는 견고성과 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 표준 미세조정 대비 대화 전용, 공감 인식 사전 훈련 목표로 사전 훈련된 대규모 언어 모델이 다중 시각 공감 추론 성능을 더 잘 향상시킬 수 있는가?
• RQ2 CICERO v2의 인간 레이블이 부여된 추론의 의미적 다양성은 기존 데이터셋과 비교해 어떻게 다른가? 특히 중복 방지 및 타당성 측면에서 어떻게 다른가?
• RQ3 개념 정제와 발화 정렬 사전 훈련 목표가 다중 시각 공감 추론 작업의 최종 성능에 얼마나 기여하는가?
• RQ4 이러한 목표로 사전 훈련하면 자원이 부족한 환경에서 일반화 능력이 향상되는가?
• RQ5 대화 전용 공감 목표로 사전 훈련된 모델는 최소한의 미세조정 데이터로도 표준 T5-Large 모델을 능가할 수 있는가?

주요 결과

• CICERO v2는 2,379개의 대화에서 유도어 8,351개의 인스턴스를 포함하며, 각 인스턴스에 대해 다수의 구체적인 인간 레이블이 부여되어 기존 데이터셋보다 의미적 다양성이 크게 향상됨을 보여준다.
• 개념 정제와 발화 정렬 목표로 사전 훈련된 DIALeCT 모델은 훈련 데이터의 20퍼센트만 사용해도 T5-Large에 비해 5퍼센트 이상의 성능 향상을 기록한다.
• 다중 정답 선택 작업에서 DIALeCT는 저자원 조건에서도 강력한 성능을 유지하며, 동일한 데이터 비율에서 T5-Large 대비 정확도 하락률이 20퍼센트로, T5-Large의 5퍼센트보다 훨씬 낮다.
• 사전 훈련 목표가 공감 지식을 효과적으로 모델에 통합함을 증명하며, 원인, 이어지는 사건, 동기, 반응의 네 가지 추론 유형 전반에서 일관된 정확도 향상이 관찰된다.
• 모델의 성능 향상은 자원이 부족한 환경에서 가장 두드러지며, 이는 DIALeCT가 표준 미세조정보다 더 견고하고 일반화 능력이 뛰어난 추론 패턴을 학습했음을 시사한다.
• DIALeCT는 모든 평가 설정에서 T5-Large 베이스라인을 능가하며, 제안된 사전 훈련 목표가 대화에서의 다중 시각 공감 추론에 효과적임을 입증한다.