[논문 리뷰] Abstractive Summarization of Spoken and Written Conversation.

Prakhar Ganesh, Saket Dingliwal|arXiv (Cornell University)|2019. 02. 05.

Topic Modeling참고 문헌 34인용 수 13

한 줄 요약

이 논문은 구어 및 문어 대화에 대한 개괄적 요약 시스템을 제안하며, 연속 태깅을 사용해 논의 관계를 식별하고 이를 단락으로 인코딩한 후, 주의 기반 포인터 네트워크를 적용하여 간결하고 개괄적인 요약을 생성한다. 이 방법은 이전 연구에서 제안된 추출적 요약 모델과 비교하여 ROUGE-1 및 ROUGE-2 F-스코어를 달성한다.

ABSTRACT

Nowadays, lots of information is available in form of dialogues. We propose a novel abstractive summarization system for conversations. We use sequence tagging of utterances for identifying the discourse relations of the dialogue. After aptly capturing these relations in a paragraph, we feed it into an Attention-based pointer network to produce abstractive summaries. We obtain ROUGE-1, 2 F-scores similar to those of extractive summaries of various previous works.

연구 동기 및 목표

• 디지털 커뮤니케이션에서 점점 더 흔해지는 음성 및 문어 대화에서 개괄적 요약을 생성하는 데 도전하는 것.
• 요약의 통일성과 관련성 향상을 위해 대화 내 발언 간의 논의 관계를 모델링하는 것.
• 논의 인식 인코딩과 주의 메커니즘을 활용하여 유창하고 개괄적인 요약을 생성하는 신경망 아키텍처를 개발하는 것.
• 개괄적 생성의 더 큰 복잡성에도 불구하고, 추출적 방법과 비교할 만한 요약 성능을 달성하는 것.

제안 방법

• 대화 내에서 설명, 대조 또는 원인-결과와 같은 논의 관계를 식별하기 위해 발언에 연속 태깅을 적용한다.
• 식별된 논의 관계를 사용하여 대화를 통일된 단락 표현으로 구조화한다.
• 논의 기반으로 구조화된 단락을 기반으로 주의 기반 포인터 네트워크를 훈련시켜 토큰 단위로 개괄적 요약을 생성한다.
• 디코딩 중에 입력의 관련 부분에 집중할 수 있도록 주의 메커니즘을 사용하여 개괄적 생성을 가능하게 한다.
• ROUGE 점수 최적화를 위해 엔드 투 엔드로 훈련되며, 명시적인 추출적 지도 학습이 포함되지 않는다.

실험 결과

연구 질문

• RQ1 논의 관계 식별이 대화 텍스트의 개괄적 요약 품질을 향상시키는가?
• RQ2 입력 표현에 논의 구조를 통합할 경우 요약 성능에 어떤 영향을 미치는가?
• RQ3 주의 기반 포인터 네트워크는 추출적 기준과 비슷한 성능을 달성할 수 있는 대화 데이터에서 고품질의 개괄적 요약을 생성할 수 있는가?
• RQ4 논의 인식 인코딩은 생성된 요약의 중복을 얼마나 줄이고 통일성을 향상시키는가?

주요 결과

• 제안된 모델은 이전 연구에서 제안된 추출적 요약 시스템과 비교해 ROUGE-1 및 ROUGE-2 F-스코어를 유사하게 달성한다.
• 논의 관계 태깅의 통합은 입력 표현의 구조적 통일성을 향상시켜 더 나은 요약 생성을 지원한다.
• 주의 기반 포인터 네트워크는 관련 논의 단위에 집중함으로써 효과적으로 개괄적 요약을 생성한다.
• 모델는 추출적 지도 학습 없이도 논의 인식 인코딩이 요약 품질 향상에 기여함을 보여준다.