[논문 리뷰] Hierarchical Transformers for Multi-Document Summarization

Yang Liu, Mirella Lapata|arXiv (Cornell University)|2019. 05. 30.

Topic Modeling참고 문헌 39인용 수 34

한 줄 요약

이 논문은 지역 및 글로벌 주의를 활용해 여러 입력 문서를 인코딩하는 계층적 Transformer 모델을 도입하고, 그래프 정보를 활용한 주의도 선택적으로 적용하여 WikiSum에서 추상적 다문서 요약을 생성하며 강력한 baselines를 능가한다.

ABSTRACT

In this paper, we develop a neural summarization model which can effectively process multiple input documents and distill Transformer architecture with the ability to encode documents in a hierarchical manner. We represent cross-document relationships via an attention mechanism which allows to share information as opposed to simply concatenating text spans and processing them as a flat sequence. Our model learns latent dependencies among textual units, but can also take advantage of explicit graph representations focusing on similarity or discourse relations. Empirical results on the WikiSum dataset demonstrate that the proposed architecture brings substantial improvements over several strong baselines.

연구 동기 및 목표

• 입력 문서 클러스터에서 추상적 요약을 생성할 수 있는 신경 모델 개발.
• 플랫한 연결 이상의 교차 문서 관계를 포착하여 다문서 입력의 문제를 해결한다.
• 계층적 인코딩 및 그래프 기반 신호를 활용하여 WikiSum에서 요약 품질을 향상시킨다.
• 문서 순위 매김 및 그래프 정보를 이용한 주의가 성능을 개선하는지 평가한다.

제안 방법

• 계층적 인코딩을 갖춘 Transformer 확장: 로컬 단락 수준 인코더 및 글로벌 단락 간 주의.
• 고정 길이의 단락 표현을 얻기 위한 다중 헤드 단락 풀링 도입.
• 문서 간 정보를 공유하기 위한 단락 간 주의 도입.
• 주목 정보를 알리기 위해 inter-paragraph 주의 헤드를 그래프 행렬(어휘적 또는 담화 기반)로 대체하는 옵션.
• 감독으로 ROUGE-2를 사용하는 학습 기반 단락 순위 모듈로 입력 단락 순위를 매김.
• 최대 우도 학습으로 훈련; 빔 서치와 길이 패널티를 이용해 디코딩.
• Lead, LexRank, Flat Transformer 변형 및 Transformer 기반 기준선(T-DMCA)과 비교.
• ROUGE-F1 지표와 인간 평가(QA 기반 및 Best-Worst 스케일링)를 통해 WikiSum에서 평가.

실험 결과

연구 질문

• RQ1 여러 문서의 계층적 인코딩이 평평한 연결보다 추상적 요약을 개선할 수 있는가?
• RQ2 문단 간 주의 및 그래프 기반 주의가 요약 품질을 향상시키는가?
• RQ3 학습 기반 단락 순위 매김이 tf-idf 유사도 순위 대비 성능을 향상시키는가?
• RQ4 테스트 시 더 긴 입력이 계층적 모델에 미치는 영향은 무엇인가?
• RQ5 다문서 추상적 요약에서 인간 판단과 자동 지표의 차이는 무엇인가?

주요 결과

모델	ROUGE-1	ROUGE-2	ROUGE-L
Lead	38.22	16.85	26.89
LexRank	36.12	11.67	22.52
FT (600 tokens, no ranking)	35.46	20.26	30.65
FT (600 tokens)	40.46	25.26	34.65
FT (800 tokens)	40.56	25.35	34.73
FT (1,200 tokens)	39.55	24.63	33.99
T-DMCA (3000 tokens)	40.77	25.60	34.90
HT (1,600 tokens)	40.82	25.99	35.08
HT w/o PP	40.21	24.54	34.71
HT w/o MP	39.90	24.34	34.61
HT w/o GT	39.01	22.97	33.76

• Hierarchical Transformer (HT) outperforms strong baselines on WikiSum across ROUGE-1, ROUGE-2, and ROUGE-L.
• 계층적 Transformer(HT)이 WikiSum에서 ROUGE-1, ROUGE-2, ROUGE-L 모두에서 강력한 기준선을 상회한다.
• Incorporating longer input (around 1,600 tokens) yields better performance for HT, and longer test input (3,000 tokens) further improves results.
• 더 긴 입력(약 1,600 토큰)의 도입이 HT의 성능을 향상시키고, 더 긴 테스트 입력(3,000 토큰)이 결과를 더 개선한다.
• Graph-informed attention (discourse graph) boosts ROUGE-L by about 0.16 points for HT.
• 그래프 정보를 활용한 주의(담화 그래프)가 HT의 ROUGE-L를 약 0.16포인트 향상시킨다.
• Learning-based paragraph ranking improves input selection, yielding higher ROUGE-L recall than tf-idf similarity ranking.
• 학습 기반 단락 순위 매김이 입력 선택을 개선하여 tf-idf 유사도 순위보다 ROUGE-L 재현율이 높아진다.
• Ablation shows paragraph position, multi-head pooling, and the global transformer layer each contribute to stronger performance.
• 비교 실험은 단락 위치, 다중 헤드 풀링, 글로벌 트랜스포머 층이 각각 성능 향상에 기여함을 보여준다.
• Human evaluation favors HT over Lead, FT, and T-DMCA, with statistically significant differences.