[논문 리뷰] Adapting the Neural Encoder-Decoder Framework from Single to Multi-Document Summarization

Logan Lebanoff, Kaiqiang Song외 1명|arXiv (Cornell University)|2018. 08. 19.

Topic Modeling참고 문헌 54인용 수 12

한 줄 요약

이 논문은 추가 학습 데이터가 필요 없이 다중 문서 요약(MDS)을 위해 사전 훈련된 개괄형 인코더-디코더 모델(특히 포인터-제너레이터 네트워크)의 새로운 변형인 PG-MMR를 제안한다. 이는 다중 문서 입력을 연결한 후 최대 경계 유사성(MMR)을 사용해 중요한 문장을 추출하고, 모델의 어텐션 메커니즘을 수정하여 이러한 문장을 우선적으로 고려함으로써 부정확성과 중복을 줄이고 요약 품질을 향상시킨다. 이 방법은 표준 MDS 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 자동 평가 지표와 인간 평가 모두에서 추출형 및 개괄형 기준 모델을 능가한다.

ABSTRACT

Generating a text abstract from a set of documents remains a challenging task. The neural encoder-decoder framework has recently been exploited to summarize single documents, but its success can in part be attributed to the availability of large parallel data automatically acquired from the Web. In contrast, parallel data for multi-document summarization are scarce and costly to obtain. There is a pressing need to adapt an encoder-decoder model trained on single-document summarization data to work with multiple-document input. In this paper, we present an initial investigation into a novel adaptation method. It exploits the maximal marginal relevance method to select representative sentences from multi-document input, and leverages an abstractive encoder-decoder model to fuse disparate sentences to an abstractive summary. The adaptation method is robust and itself requires no training data. Our system compares favorably to state-of-the-art extractive and abstractive approaches judged by automatic metrics and human assessors.

연구 동기 및 목표

• 다중 문서 요약(MDS)을 위한 대규모 병렬 학습 데이터의 부족으로 인해 신경망 인코더-디코더 모델의 직접 훈련이 어렵다는 문제를 해결하기 위해.
• 단일 문서 데이터로 사전 훈련된 기존의 개괄형 요약 모델을 테스트 시점에 다중 문서 입력을 효과적으로 처리할 수 있도록 적응시키기 위해.
• 모델을 재학습하지 않고도 다중 문서 입력에서 중요한 내용에 집중하고 중복을 줄이기 위해.
• 추출형 문장 선택과 개괄형 생성을 결합한 경량이며 데이터 효율적인 방법을 개발하기 위해.
• 자동 평가 지표와 인간 평가를 모두 활용해 제안된 방법의 효과성을 기존의 최신 기술 수준의 추출형 및 개괄형 MDS 시스템과 비교하기 위해.

제안 방법

• 모델은 모든 입력 문서를 하나의 텍스트 시퀀스로 연결하여 '메가문서(mega-document)'를 구성한다.
• 최대 경계 유사성(MMR) 알고리즘을 적용하여 관련성과 다양성을 기반으로 대표적이며 중복이 적은 문장 집합을 메가문서에서 식별한다.
• 포인터-제너레이터(PG) 모델의 어텐션 메커니즘을 동적으로 수정하여 요약 생성 중에 MMR로 선택된 문장에 우선적으로 어텐션을 기울이도록 한다.
• 각 요약 문장을 생성한 후, 이미 사용된 문장이나 유사도가 높은 문장에 어텐션할 가능성을 줄여 중복을 억제한다.
• 반복적으로 새로운 문장을 선택하고 어텐션 가중치를 갱신함으로써 모델이 핵심 내용을 통합하여 일관된 개괄형 요약을 생성할 수 있도록 한다.
• 모델의 미세조정이나 추가적인 MDS 학습 데이터가 필요 없으며, 사전 훈련된 PG 모델과 MMR을 통해 선택 기반으로만 작동한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 개괄형 요약 모델을 MDS 데이터에 대해 미세조정 없이 다중 문서 요약에 효과적으로 적응시킬 수 있는가?
• RQ2 다중 문서 입력에서 중요한 내용과 다양성을 갖춘 문장을 어떻게 추출하여 개괄형 생성을 이끌 수 있는가?
• RQ3 MMR 기반의 문장 선택이 다중 문서 입력의 개괄형 요약에서 정보성 향상과 중복 감소에 기여하는가?
• RQ4 제안된 방법이 자동 평가 지표와 인간 평가 모두에서 기존의 추출형 및 개괄형 MDS 시스템을 능가하는가?
• RQ5 개념적 내용을 유지하면서 추상화와 문장 융합을 어떻게 효과적으로 수행할 수 있는가?

주요 결과

• PG-MMR는 LexRank 및 추출형 모델과 같은 강력한 추출형 기준 모델보다 자동 평가 지표와 인간 평가 모두에서 뛰어난 성능을 보였다.
• 인간 평가자들은 PG-MMR 요약을 전반적인 품질에서 1등 또는 2등으로 평가했으며, 정보성과 중복 없음에 대해 가장 높은 점수를 기록했다.
• 표준 MDS 데이터셋에서 기준 PG 모델 대비 ROUGE 점수에서 유의미한 향상을 보이며, 다중 문서 입력의 요약에 효과적임을 입증했다.
• 추출형 문장 선택에 의존하고 있음에도 불구하고 PG-MMR는 높은 수준의 추상화를 구현했으며, 요약 문장의 41%가 입력에 그대로 존재하지 않았다. 이는 강력한 융합 및 어색한 표현 변형 능력을 의미한다.
• 다양한 MDS 테스트 세트에서 뛰어난 안정성을 보였으며, MDS 전용 학습 데이터 없이도 높은 성능을 유지했다.
• 추출성 수준은 PG-Original 모델보다 略로 높았지만(비소스 문장 41% 대 52%), 요약은 더 정보가 풍부하고 중복이 적어 내용 선택 및 융합 능력이 뛰어나다는 것을 시사한다.