[논문 리뷰] Restructuring Conversations using Discourse Relations for Zero-shot Abstractive Dialogue Summarization

Prakhar Ganesh, Saket Dingliwal|arXiv (Cornell University)|2019. 02. 05.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 대화의 논의 관계를 활용하여 대화를 문서 유사한 구조로 재구성하는 제로샷 개괄적 대화 요약 방법을 제안한다. 이는 사전에 훈련된 문서 요약 모델(BART, PGN 등)을 사용하여 요약을 생성하는 방식이다. 이 방법은 ROUGE 점수를 최대 3점 향상시키며, 도메인 특화 훈련 데이터 없이도 기존 방법을 능가한다.

ABSTRACT

Dialogue summarization is a challenging problem due to the informal and unstructured nature of conversational data. Recent advances in abstractive summarization have been focused on data-hungry neural models and adapting these models to a new domain requires the availability of domain-specific manually annotated corpus created by linguistic experts. We propose a zero-shot abstractive dialogue summarization method that uses discourse relations to provide structure to conversations, and then uses an out-of-the-box document summarization model to create final summaries. Experiments on the AMI and ICSI meeting corpus, with document summarization models like PGN and BART, shows that our method improves the ROGUE score by up to 3 points, and even performs competitively against other state-of-the-art methods.

연구 동기 및 목표

• 훈련 데이터가 부족한 저자원 환경에서의 개괄적 대화 요약 과제를 해결하기 위해.
• 비구조적이고 비공식적인 대화를 논의 관계를 활용해 구조화하여 요약 품질을 향상시키기 위해.
• 피팅 튜닝 없이 사전에 훈련된 문서 요약 모델을 활용해 제로샷 적응을 가능하게 하기 위해.
• 종합적인 훈련 없이도 유연하고 해석 가능하며 쉽게 디버깅할 수 있는 파ip라인을 제공하기 위해.
• 작업 특화 주석이 아닌 도메인 수준의 주석을 사용해 다양한 도메인으로 일반화하기 위해.

제안 방법

• 이 방법은 두 단계 파이프라인을 사용한다: 첫 번째로, 논의 관계 분류기가 대화 문장 간 '확장', '대비', '원인', '질문-답변' 등의 관계를 식별한다.
• 이 논의 관계는 원본 대화를 의미적이고 논리적인 흐름을 유지하는 선형적이고 문서 유사한 순서로 재구성하는 데 사용된다.
• 재구성된 대화는 사전에 훈련된 개괄적 문서 요약 모델(BART 또는 PGN 등)에 입력되어 최종 요약을 생성한다.
• 논의 레이블은 사전에 훈련된 논의 분석기로 예측되며, 이는 새로운 도메인에 대해서도 제로샷 배포를 가능하게 한다.
• 핵심어 지칭 해결 기법을 적용하여 생성된 요약의 공명성과 일관성을 향상시킨다.
• 종합적 훈련을 피하고, 문서 요약 및 논의 분석 분야에서 검증된 기존 컴포넌트를 조합한다.

실험 결과

연구 질문

• RQ1 논의 관계 기반 재구성이 제로샷 환경에서 개괄적 대화 요약 성능을 향상시킬 수 있는가?
• RQ2 일반적인 문서 요약 모델이 원시 대화 대비 논의 재구성된 대화에 적용되었을 때 성능은 어떻게 변화하는가?
• RQ3 피팅 튜닝 없이도 논의 인식 재구성이 다양한 대화 도메인에 일반화될 수 있는 정도는 어느 정도인가?
• RQ4 논의 관계를 활용한 재구성이 원시 대화에 직접 적용된 문서 모델 대비 더 유창하고 자연스러운 요약을 만들어내는가?
• RQ5 복잡한 종합적 훈련이 필요한 대규모 주석 데이터가 필요한 대화 요약 모델에 비해 단순한 이중 단계 파이프라인이 성능을 뛰어넘을 수 있는가?

주요 결과

• 제안된 방법은 AMI 및 ICSI 데이터셋에서 원시 대화에 직접 적용된 기준 문서 요약 모델 대비 ROUGE 점수를 최대 3점 향상시켰다.
• 특정 도메인 데이터나 피팅 튜닝 없이도 최신 기술 수준의 대화 요약 모델과 경쟁 가능한 성능을 달성했다.
• 논의 관계를 활용한 대화 재구성이 생성된 요약의 유창성과 사실 일관성에 크게 기여했다.
• 회의 및 비공식 대화를 포함한 다양한 대화 유형에서 강력한 성능 유지를 보이며 제로샷 일반화 능력을 입증했다.
• 논의 분석과 사전 훈련된 요약 모델의 통합은 원시 대화에 직접 적용된 동일한 모델 대비 더 자연스럽고 인간처럼 들리는 요약을 만들어냈다.
• 논의 관계는 요약 이전에 입력의 구조적 변화에 대한 명확한 근거를 제공하므로, 이 방법은 강건하고 해석 가능하다.