[논문 리뷰] Structure-Aware Abstractive Conversation Summarization via Discourse and Action Graphs

Jiaao Chen, Diyi Yang|arXiv (Cornell University)|2021. 04. 16.

Topic Modeling참고 문헌 53인용 수 8

한 줄 요약

이 논문은 논의 관계 그래프와 행동 그래프를 활용하여 요약 품질을 햖थ한 구조 인식형 개괄 요약 모델을 제안한다. 그래프 주의망(GATs)을 통해 발화 수준의 논의 관계와 화자-행동-사건 삼중항을 인코딩하고, 다중 해상도 디코더를 사용함으로써 SAMSum에서 최신 기술 성능을 달성하며, 토론 요약 분야로도 잘 일반화되어 자동 평가 및 인간 평가 모두에서 강력한 베이스라인을 능가한다.

ABSTRACT

Abstractive conversation summarization has received much attention recently. However, these generated summaries often suffer from insufficient, redundant, or incorrect content, largely due to the unstructured and complex characteristics of human-human interactions. To this end, we propose to explicitly model the rich structures in conversations for more precise and accurate conversation summarization, by first incorporating discourse relations between utterances and action triples ("who-doing-what") in utterances through structured graphs to better encode conversations, and then designing a multi-granularity decoder to generate summaries by combining all levels of information. Experiments show that our proposed models outperform state-of-the-art methods and generalize well in other domains in terms of both automatic evaluations and human judgments. We have publicly released our code at https://github.com/GT-SALT/Structure-Aware-BART.

연구 동기 및 목표

• 비구조적이고 복잡한 인간 대화에서 간결하고 사실적이며 정보적인 개괄 요약을 생성하는 데 도전하는 데 목적이 있다.
• 발화 간의 논의 관계와 화자-행동-사건 삼중항을 명시적으로 모델링하여 표현 학습을 향상시키는 데 목적이 있다.
• 발화, 논의 그래프, 행동 그래프의 정보를 통합하는 다중 해상도 디코더를 설계하여 요약 품질을 향상시키는 데 목적이 있다.
• 다양한 대화 유형에 대해 제안된 구조 인식 접근법의 효과성과 일반화 능력을 평가하는 데 목적이 있다.

제안 방법

• 16종류의 의존 기반 논의 관계(EDU 간)를 사용하여 발화 수준의 논의 관계 그래프를 구축한다. 이는 질문-답변 및 설명과 같은 관계를 포괄한다.
• 발화에서 추출한 '누가 무엇을 했는가' 삼중항으로부터 행동 그래프를 구축하여 화자 역할과 행동을 명시적으로 모델링한다.
• 구조적 표현을 학습하기 위해 그래프 주의망(GATs)을 사용하여 두 그래프를 인코딩한다. 이는 BART 인코더가 제공하는 순서 기반 인코딩을 보완한다.
• 발화 수준 표현, 논의 그래프, 행동 그래프를 동시에 참조하여 요약을 생성하는 다중 해상도 디코더를 설계한다.
• 학습을 안정화하고 그래프 강화 표현의 효과적 학습을 가능하게 하기 위해 ReZero 초기화를 활용한다.
• SAMSum 데이터셋에서 미세조정을 통해 엔드 투 엔드로 모델을 적용하고, ADCS 토론 데이터셋에서 제로샷 성능을 평가한다.

실험 결과

연구 질문

• RQ1 논의 관계 그래프는 개괄 요약에서 중요한 내용 식별에 기여하는가?
• RQ2 행동 그래프를 통해 화자-행동-사건 관계를 모델링하면 사실 일관성이 향상되는가?
• RQ3 논의 그래프와 행동 그래프를 함께 사용하면 단독으로 사용할 경우보다 더 나은 요약 성능을 얻는가?
• RQ4 구조 인식 모델은 토론과 같은 도메인 외부 대화 유형으로 잘 일반화되는가?
• RQ5 각 그래프 유형이 최종 요약 생성에 기여하는 정도는 어떻게 되며, 디코딩 과정에서 상호 작용하는 방식은 어떠한가?

주요 결과

• 논의 그래프와 행동 그래프를 모두 포함한 제안된 S-BART 모델은 SAMSum 데이터셋에서 최신 기술 성능을 달성하며, BART 및 기타 개괄 모델을 포함한 강력한 베이스라인을 능가하는 ROUGE 점수를 기록했다.
• 절단 실험 결과, 논의 그래프와 행동 그래프 모두 성능 향상에 독립적으로 기여했으며, 조합 시 가장 우수한 성능을 보였다.
• 복잡한 대화(논의 간선 수와 행동 삼중항 수가 많을수록)에서 ROUGE-1, ROUGE-2, ROUGE-L 모두에서 뚜렷한 향상을 보였다.
• ADCS 토론 데이터셋에서의 제로샷 평가 결과, 대화 모델의 도메인 외 일반화 능력이 확인되었다.
• ReZero 가중치의 시각화 결과, 행동 그래프가 논의 그래프보다 더 큰 기여를 했으며, 두 그래프를 조합할 경우 더 높은 주의 가중치를 보여, 상호 보완적 역할을 확인했다.
• 자동 평가 및 인간 평가 모두에서 베이스라인을 능가했으며, 특히 사실 오류와 중복을 줄이는 데 뛰어난 성능을 보였다.