[논문 리뷰] Mind the Gap! Injecting Commonsense Knowledge for Abstractive Dialogue Summarization

Seungone Kim, Se June Joo외 4명|arXiv (Cornell University)|2022. 09. 02.

Topic Modeling인용 수 12

한 줄 요약

이 논문은 공통지식 지식을 추상적 대화 요약에 통합하여 음성적인 의도와 숨겨진 의미를 포착하는 데 어려움을 해결하기 위한 SICK 및 SICK++ 프레임워크를 제안한다. 유사도 기반의 공통지식 추론 선택과 공통지식 감독을 통한 다중 작업 학습을 통해 SICK++는 SAMSum 및 DialogSum에서 강력한 베이스라인을 능가하며, 특히 저데이터 설정에서 더 정보가 풍부하고 일관성 있는 요약을 생성한다.

ABSTRACT

In this paper, we propose to leverage the unique characteristics of dialogues sharing commonsense knowledge across participants, to resolve the difficulties in summarizing them. We present SICK, a framework that uses commonsense inferences as additional context. Compared to previous work that solely relies on the input dialogue, SICK uses an external knowledge model to generate a rich set of commonsense inferences and selects the most probable one with a similarity-based selection method. Built upon SICK, SICK++ utilizes commonsense as supervision, where the task of generating commonsense inferences is added upon summarizing the dialogue in a multi-task learning setting. Experimental results show that with injected commonsense knowledge, our framework generates more informative and consistent summaries than existing methods.

연구 동기 및 목표

• 대화에서 음성적인 의도와 숨겨진 의미를 포착하는 데 어려움이 있어 효과적인 요약을 방해하는 문제를 해결하기 위해.
• 요약 작업에서 대화 형식과 문서 형식 간의 괴리 문제를 해결하기 위해.
• 구조적인 공통지식 지식 통합을 통해 추상적 대화 요약의 정보성과 일관성을 향상시키기 위해.
• 공통지식 지식이 모델 성능을 향상시킬 수 있는지, 특히 저데이터 환경에서 그러한 영향을 탐색하기 위해.
• 다중 작업 학습 설정에서 공통지식 지식을 감독으로 사용할 경우의 효과성을 조사하기 위해.

제안 방법

• SICK는 외부 공통지식 지식 모델(예: COMET)을 사용하여 각 발언에 대해 다수의 사건 중심 및 사회적 상호작용 중심의 추론을 생성한다.
• 유사도 기반 선택 방법을 적용하여 가장 관련성이 높은 공통지식 추론을 필터링하고 대화 입력의 추가적 맥락으로 선별한다.
• SICK++는 이중 디코더 아키텍처를 도입하여, 한 디코더가 골드 요약에서 타겟 공통지식 추론을 생성하도록 한다.
• 모델은 대화 요약 및 공통지식 생성 작업을 동시에 학습하는 다중 작업 학습 프레임워크에서 공동으로 훈련하여 지식 통합과 인코더 표현을 향상시킨다.
• 프레임워크는 BART와 같은 사전 훈련된 모델을 활용하며, 공통지식 추론을 추가 입력 맥락과 감독으로 통합한다.
• 주의 시각화와 아블레이션 연구를 통해 모델이 통합된 공통지식 지식을 얼마나 효과적으로 활용하는지 분석한다.

실험 결과

연구 질문

• RQ1 공통지식 지식 통합이 추상적 대화 요약의 품질과 일관성에 향상 효과를 줄 수 있는가?
• RQ2 다중 작업 학습 설정에서 공통지식 지식 감독이 지식 활용 및 요약 성능에 어떤 영향을 미치는가?
• RQ3 제안된 프레임워크는 저데이터 훈련 조건에서 성능 향상을 이끌 수 있는가?
• RQ4 주의 메커니즘이 모델이 통합된 공통지식 추론에 얼마나 의존하는지를 어떻게 반영하는가?
• RQ5 성능 향상은 공통지식 지식 통합 때문인지, 단지 입력 길이 증가 때문인가?

주요 결과

• SICK++는 SAMSum 및 DialogSum 벤치마크에서 BART-xsum 및 기타 강력한 베이스라인을 능가하여 뛰어난 요약 품질을 보여준다.
• 제로샷 평가에서 SICK는 BART-xsum보다 더 높은 성능을 기록하여, 공통지식 통합이 타겟 데이터에 대한 미세조정 없이도 요약 품질 향상에 기여함을 확인한다.
• 훈련 데이터의 30%만으로도 SICK++는 BART-xsum가 70%의 데이터로 훈련한 성능을 능가하며, 강력한 데이터 효율성을 보여준다.
• 주의 시각화 결과, SICK++는 후행 레이어에서 공통지식 추론에 더 높은 주의를 기울이는 것으로 나타나 깊은 표현에서 지식 통합이 더 효과적임을 시사한다.
• 모든 데이터 크기에서 SICK++와 BART-xsum 간의 성능 격차가 유지되어 공통지식 통합의 강건성을 확인한다.
• 인간 평가 결과, SICK++가 생성한 요약은 베이스라인 모델보다 더 정보가 풍부하고 일관성이 높다는 것이 확인되었다.