[논문 리뷰] Multi-document Summarization with Maximal Marginal Relevance-guided Reinforcement Learning

Yuning Mao, Yanru Qu외 3명|arXiv (Cornell University)|2020. 09. 30.

Topic Modeling참고 문헌 42인용 수 6

한 줄 요약

이 논문은 다중 문서 요약(MDS)을 위한 강화학습 프레임워크인 RL-MMR를 제안한다. 이 프레임워크는 신경 시퀀스 모델과 최대 경계 유사성(MMR)을 통합하여, 소생성과 재현 방지를 동시에 최적화한다. 소프트 어텐션을 활용해 MMR 기반 후보 선택을 유도하고, 엔드 투 엔드 학습을 통해 소생성과 재현성을 동시에 최적화함으로써, DUC 2004 및 TAC 2011 벤치마크에서 최신 기술 수준의 성능을 달성하며, 순수 신경 모델과 고전적 MDS 방법을 모두 능가한다.

ABSTRACT

While neural sequence learning methods have made significant progress in single-document summarization (SDS), they produce unsatisfactory results on multi-document summarization (MDS). We observe two major challenges when adapting SDS advances to MDS: (1) MDS involves larger search space and yet more limited training data, setting obstacles for neural methods to learn adequate representations; (2) MDS needs to resolve higher information redundancy among the source documents, which SDS methods are less effective to handle. To close the gap, we present RL-MMR, Maximal Margin Relevance-guided Reinforcement Learning for MDS, which unifies advanced neural SDS methods and statistical measures used in classical MDS. RL-MMR casts MMR guidance on fewer promising candidates, which restrains the search space and thus leads to better representation learning. Additionally, the explicit redundancy measure in MMR helps the neural representation of the summary to better capture redundancy. Extensive experiments demonstrate that RL-MMR achieves state-of-the-art performance on benchmark MDS datasets. In particular, we show the benefits of incorporating MMR into end-to-end learning when adapting SDS to MDS in terms of both learning effectiveness and efficiency.

연구 동기 및 목표

• 제한된 훈련 데이터로 인해 큰 검색 공간과 높은 재현성을 겪는 신경 시퀀스 모델의 다중 문서 요약(MDS)에서의 한계를 해결하기 위해.
• 이전의 MDS 방법에서의 하드 프루닝의 비효율성을 해결하기 위해, 더 많은 후보 정보를 유지하는 소프트 어텐션으로 대체함으로써.
• MMR를 통한 명시적 재현성 제어를 엔드 투 엔드 신경 훈련에 통합하여 요약 품질과 일반화 능력을 향상시키기 위해.
• 신경 표현 학습과 고전적 통계 측정법인 MMR을 결합할 경우 MDS에서 우수한 성능을 내는가를 입증하기 위해.

제안 방법

• 프레임워크는 MMR 점수를 보상 신호로 사용하는 강화학습 에이전트를 활용하여 다수의 문서에서 문장을 선택한다.
• 소프트 어텐션은 MMR 순위가 매겨진 후보에 적용되어, 고점수 문장에 집중하면서도 낮은 순위의 문장도 고려할 수 있도록 한다.
• MMR 점수는 어휘적 유사성과 의미적 유사성을 균형 있게 반영하기 위해 TF-IDF와 BERT 임베딩을 조합한 하이브리드 유사도 측정법을 사용하여 계산된다.
• 보상 함수는 소생성과 재현성을 명시적으로 균형 잡으며, 정보성과 반복성 간의 상호보완적 조정을 위한 하이퍼파rameter가 포함되어 있다.
• 엔드 투 엔드 훈련을 통해 문장 선택과 요약 생성을 동시에 최적화할 수 있으며, 이로써 신경 모델이 MMR 기반 피드백에서 학습할 수 있다.
• ROUGE 메트릭을 사용하여 DUC 2004 및 TAC 2011 데이터셋에서 평가하였으며, 설계 선택 사항을 검증하기 위한 아블레이션 스터디를 실시하였다.

실험 결과

연구 질문

• RQ1 MMR를 가이던스 신호로 통합함으로써 표준 시퀀스 모델을 초월하는 신경 다중 문서 요약 성능 향상이 가능한가?
• RQ2 MMR 순위가 매겨진 후보에 대해 소프트 어텐션을 적용할 경우, MDS에서 하드 프루닝 대비 더 나은 표현 학습이 이루어지는가?
• RQ3 엔드 투 엔드 훈련에서 신경 문장 표현과 함께 MMR의 명시적 재현성 측정이 얼마나 효과적인가?
• RQ4 MDS에서 소생성과 재현성의 최적 균형은 무엇이며, 이는 요약 품질에 어떤 영향을 미치는가?

주요 결과

• RL-MMR는 DUC 2004 및 TAC 2011 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 순수 신경 모델 및 고전적 MDS 방법을 모두 능가한다.
• DUC 2004에서 ROUGE-1 F1 점수는 44.2를 기록하였고, TAC 2011에서는 41.8를 기록하여, DPP-Caps-Comb 및 MMR 단독 모델과 같은 이전 방법들보다 뚜렷이 높은 성능을 보였다.
• 아블레이션 스터디 결과, 소프트 어텐션은 하드 커프오프 대비 성능 향상을 이끌었으며, 이는 제한된 레이블 데이터에서의 탐색 능력 향상 덕분이었다.
• MMR와 신경 모델의 통합은 어텐션 메커니즘만 사용할 경우보다 재현성을 더 효과적으로 줄였다. 이는 출력의 수동 분석을 통해 확인되었다.
• 소생성과 재현성의 최적 균형(λ ≈ 0.5–0.8)은 소생성 중심의 접근보다 높은 ROUGE 점수를 지속적으로 기록하였다.
• TF-IDF를 사용한 MMR 유사도 측정은 다양한 설정에서 안정적인 성능을 보였고, BERT와 SNN은 더 많은 하이퍼파rameter 튜닝이 필요했다.