[논문 리뷰] Soft Layer-Specific Multi-Task Summarization with Entailment and Question Generation

Han Guo, Ramakanth Pasunuru외 1명|arXiv (Cornell University)|2018. 05. 28.

Topic Modeling인용 수 36

한 줄 요약

이 논문은 개요 요약을 위한 소프트, 계층별 다중 작업 학습 프레임워크를 제안하며, 보조 작업으로 질문 생성과 함의 생성을 함께 훈련한다. 인코더와 디코더 계층 간에 고수준 의미 표현을 공유함으로써, 모델은 중요 정보 탐지와 논리적 함의를 향상시키며, CNN/DailyMail, Gigaword, DUC-2002에서 최신 기술 수준의 ROUGE 점수를 확보하고 통계적으로 유의미한 향상과 환각 현상을 감소시킨다.

ABSTRACT

An accurate abstractive summary of a document should contain all its salient information and should be logically entailed by the input document. We improve these important aspects of abstractive summarization via multi-task learning with the auxiliary tasks of question generation and entailment generation, where the former teaches the summarization model how to look for salient questioning-worthy details, and the latter teaches the model how to rewrite a summary which is a directed-logical subset of the input document. We also propose novel multi-task architectures with high-level (semantic) layer-specific sharing across multiple encoder and decoder layers of the three tasks, as well as soft-sharing mechanisms (and show performance ablations and analysis examples of each contribution). Overall, we achieve statistically significant improvements over the state-of-the-art on both the CNN/DailyMail and Gigaword datasets, as well as on the DUC-2002 transfer setup. We also present several quantitative and qualitative analysis studies of our model's learned saliency and entailment skills.

연구 동기 및 목표

• 입력 문서로부터 중요한 정보를 탐지하고 논리적 함의를 보장할 수 있는 능력을 향상시켜 개요 요약을 개선하기 위해.
• 표준 순서-순서 모델을 초월해 질문 생성 및 함의 생성과 같은 보조 작업이 요약 품질 향상에 기여하는지 조사하기 위해.
• 요약을 위한 다중 작업 학습에서 소프트, 고수준(의미적) 계층별 파라미터 공유의 효과성을 탐색하기 위해.
• DUC-2002 전이 설정을 활용해 저자원 환경에서 모델의 일반화 능력을 평가하기 위해.
• 정성적 및 정량적 연구를 통해 모델이 학습한 중요성 및 함의 능력을 분석하기 위해.

제안 방법

• 요약, 질문 생성(SQuAD에서), 함의 생성(SNLI를 생성 형식으로 변환한 것)의 세 가지 작업을 포함하는 다중 작업 학습 프레임워크를 도입한다.
• 공유된 인코더 및 디코더 계층을 갖춘 순서-순서 아키텍처를 사용하며, 고수준(의미적) 계층은 작업 간에 소프트하게 공유하고, 저수준(어휘-구문적) 계층은 공유하지 않는다.
• 다양화 가능한 게이팅 메커니즘을 통해 소프트 파라미터 공유를 구현하여, 작업 간에 공유 파라미터의 기여도를 동적으로 제어한다.
• 각 개별 작업에 대해 미리 학습된 모델을 초기화 값으로 사용하여 훈련 시간을 크게 단축시킨다.
• 최신 기술의 함의 분류기와 NER 기반의 불필요한 사실 탐지 기법을 활용해 논리적 일관성과 사실적 정확성을 평가한다.
• SQuAD로 학습된 분류기를 사용한 키워드 기반 중요성 탐지 방법을 활용해 참조 요약과 생성된 요약 간의 겹침을 측정한다.

실험 결과

연구 질문

• RQ1 질문 생성 훈련이 문서 내 중요한 정보 탐지 능력을 향상시키는가?
• RQ2 함의 생성이 환각 현상을 감소시키고 개요 요약의 논리적 일관성을 향상시키는가?
• RQ3 소프트, 고수준 계층별 파라미터 공유가 하드 공유 또는 공유 없음보다 다중 작업 요약에서 더 효과적인가?
• RQ4 이 다중 작업 모델은 DUC-2002 전이 설정과 같은 저자원 환경에서 어떻게 일반화되는가?
• RQ5 함의 확률과 명명된 엔티티 겹침을 측정했을 때, 보조 작업이 사실적 일관성과 중요성 탐지 능력을 얼마나 향상시키는가?

주요 결과

• 3가지 작업(요약 + QG + EG)을 통한 다중 작업 모델이 CNN/DailyMail, Gigaword, DUC-2002에서 최신 기술 수준을 상회하며 통계적으로 유의미한 향상을 보였으며, 함의에 대해 p < 0.001, 중요성에 대해 p < 0.01이었다.
• 기본 모델 대비 요약에 포함된 불필요한 명명된 엔티티를 17.2% 감소시켜 사실적 정확성이 향상됨을 시사한다.
• 2가지 작업(QG) 모델은 기준 모델보다 두 개 이상의 추가 중요 키워드를 식별하는 데 93건 더 많은 사례를 기록하며 중요성 탐지 능력을 향상시켰다.
• 모델은 요약에 10.66%의 새로운 4-그램을 포함시켰으며(See 등, 2017년 기준 9.72%), 이는 더 강력한 재작성 능력을 의미한다.
• 요약 문장이 원본 문서에 의해 함의되는 확률이 유의미하게 증가했으며(p < 0.001), 더 나은 논리적 일관성을 확인했다.
• 정성적 분석 결과, 모델은 "john hartson"이나 "hampden injustice"와 같은 함의되지 않는 표현을 생성하지 않으며, "josh meekings" 및 "hoops"와 같은 핵심 중요 엔티티를 회복하는 것으로 나타났다.