[논문 리뷰] DynE: Dynamic Ensemble Decoding for Multi-Document Summarization

Chris Hokamp, Demian Gholipour Ghalandari외 2명|arXiv (Cornell University)|2020. 06. 15.

Topic Modeling참고 문헌 24인용 수 10

한 줄 요약

이 논문은 다중 문서 요약에서 성능을 햖थ기 위해 단일 사전 훈련된 순서-순서 모델을 여러 입력 문서에 적용한 출력을 앙상블하는 동적 앙상블 디코딩 방법인 DynE를 제안한다. 입력 간을 공동으로 디코딩하고 각 타임스텝에서 예측을 집계함으로써, 아키텍처 변경 없이도 여러 MDS 벤치마크에서 최신 기술 수준의 성능을 달성한다. 특히 뉴스 기사 등 동일한 사건에 대해 매우 겹치는 입력이 존재할 경우 뛰어난 성능을 발휘한다.

ABSTRACT

Sequence-to-sequence (s2s) models are the basis for extensive work in natural language processing. However, some applications, such as multi-document summarization, multi-modal machine translation, and the automatic post-editing of machine translation, require mapping a set of multiple distinct inputs into a single output sequence. Recent work has introduced bespoke architectures for these multi-input settings, and developed models which can handle increasingly longer inputs; however, the performance of special model architectures is limited by the available in-domain training data. In this work we propose a simple decoding methodology which ensembles the output of multiple instances of the same model on different inputs. Our proposed approach allows models trained for vanilla s2s tasks to be directly used in multi-input settings. This works particularly well when each of the inputs has significant overlap with the others, as when compressing a cluster of news articles about the same event into a single coherent summary, and we obtain state-of-the-art results on several multi-document summarization datasets.

연구 동기 및 목표

• 아키텍처나 훈련 수정 없이도 사전 훈련된 단일 문서 추상적 요약 모델을 다중 문서 요약에 직접 적용할 수 있도록 하는 것.
• 유사한 다수의 입력에 대해 모델 출력을 앙상블하는 것이 높은 겹침 설정에서 요약 성능을 향상시키는지 조사하는 것.
• 동적 앙상블이 각 입력 문서가 최종 출력에 기여하는 방식을 추적함으로써 해석 가능성을 제공하는지 탐색하는 것.
• 다양한 입력 겹침 정도와 요약 길이를 가진 다양한 MDS 데이터셋에서 방법의 성능을 평가하는 것.
• 입력 길이에 민감하거나 입력 수에 따라 선형적으로 메모리가 증가하는 등의 방법의 한계를 규명하는 것.

제안 방법

• 클러스터 내 각 입력 문서에 대해 독립적으로 적용된 단일 사전 훈련된 인코더-디코더 모델의 예측을 동적으로 앙상블한다.
• 각 디코딩 타임스텝에서, 모든 입력 문서의 조건부 확률을 통합하는 감소 연산을 사용하여 다음 토큰을 생성한다.
• 각 입력 문서가 최종 출력에 기여하는 정도는 다른 입력과 무관하게 조건부 확률 $ p_{\theta}(y_t|\mathbf{x}_i) $ 로 계산된다.
• 모든 입력 문서의 병렬 디코딩을 지원하여 순차적 처리에 의존도를 낮춘다.
• 모든 입력에서의 점수를 집계한 기반으로 각 단계에서 가장 가능성 높은 토큰을 선택함으로써 앙상블 출력을 생성한다.
• 각 입력, 각 타임스텝의 점수를 추적함으로써 해석 가능성을 제공하며, 최종 요약에 각 문서가 미치는 영향을 시각화할 수 있다.

실험 결과

연구 질문

• RQ1 표준 단일 문서 추상적 요약 모델이 아키텍처 변경 없이도 다중 문서 요약에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 여러 겹치는 입력 문서에 대해 예측을 앙상블하는 것이 단일 입력을 사용할 경우보다 요약 품질을 향상시키는가?
• RQ3 동적 앙상블이 각 입력 문서가 최종 요약에 기여하는 방식을 추적함으로써 해석 가능한 통찰을 제공할 수 있는가?
• RQ4 입력 문서 수가 클수록 DynE의 성능은 어떻게 변화하는가? 특히 입력이 매우 유사한 경우에 대해 어떻게 되는가?
• RQ5 다른 길이의 문서나 내용이 완전히 다를 경우 DynE는 어떤 한계를 보이는가?

주요 결과

• DynE는 WCEP 및 DUC 2004 벤치마크에서 아키텍처 변경 없이도 최신 기술 수준의 결과를 달성했으며, 강력한 베이스라인을 초월한다.
• WCEP 데이터셋에서 DynE-1(1개 입력)은 이미 이전 최신 기술 수준을 초월하고, DynE-5(5개 입력)는 ROUGE-1과 ROUGE-L 점수를 각각 0.439와 0.222로 향상시켰다.
• DUC 2004에서 8개 입력을 사용한 DynE는 ROUGE-1 33.21, ROUGE-2 8.06, R-SU 11.47을 기록했으며, 미세조정 없이도 강력한 추상적 베이스라인에 근접했다.
• MultiNews에서의 성능은 일관되지 않았다: DynE-1은 베이스라인을 초월했지만, DynE-5는 약간의 성능 저하를 보였다. 이는 데이터셋 내에서 노이즈가 많거나 매우 유사한 문서가 존재하기 때문일 것이다.
• 타임스텝 수준의 점수를 시각화한 결과, DynE는 클러스터 외부 또는 일치하지 않는 문서의 기여도를 효과적으로 억제함을 확인했으며, 노이즈에 대해 강건함을 입증했다.
• 모든 디코딩 단계에서 각 문서의 기여도를 추적함으로써 정확한 입력 전용 해석 가능성을 제공하며, 주로 어텐션 기반 설명과 대비되는 모델에 종속되지 않는 대안을 제공한다.