[논문 리뷰] PoBRL: Optimizing Multi-Document Summarization by Blending Reinforcement Learning Policies

Andy Su, Difei Su외 2명|arXiv (Cornell University)|2021. 05. 18.

Topic Modeling참고 문헌 32인용 수 4

한 줄 요약

PoBRL는 강화학습을 통해 다중 문서 요약을 중요도, 관련성, 길이의 세 가지 목적으로 분리하여 개별 정책을 훈련하고 융합함으로써 요약 품질을 향상시키는 새로운 강화학습 프레임워크를 제안한다. Multi-News와 DUC-04 데이터셋에서 최고 수준의 ROUGE 점수를 기록하고 인간 평가 결과에서도 뛰어난 성능을 보이며, 정책 융합을 통해 부재감과 일관성을 향상시킨다.

ABSTRACT

We propose a novel reinforcement learning based framework PoBRL for solving multi-document summarization. PoBRL jointly optimizes over the following three objectives necessary for a high-quality summary: importance, relevance, and length. Our strategy decouples this multi-objective optimization into different subproblems that can be solved individually by reinforcement learning. Utilizing PoBRL, we then blend each learned policies together to produce a summary that is a concise and complete representation of the original input. Our empirical analysis shows state-of-the-art performance on several multi-document datasets. Human evaluation also shows that our method produces high-quality output.

연구 동기 및 목표

• 다수의 겹치는 문서에서 간결하고 중복이 없으며 종합적인 요약을 생성하는 과제를 해결하기 위해.
• 강화학습을 통해 중요도, 관련성(중복 감소), 길이를 동시에 최적화하는 다중 목표 요약 프레임워크를 개발하기 위해.
• MMR와 같은 탐욕적 또는 局부 최적화 방법보다 전역 최적화를 가능하게 하는 정책 융합을 통해 성능을 향상시키기 위해.
• 입력 문서 수가 다양할 경우에도 높은 성능을 유지할 수 있는 확장성 있고 효과적인 프레임워크를 개발하기 위해.

제안 방법

• 다중 문서 요약을 문장 중요도, 관련성(중복 최소화), 요약 길이 제어의 세 개의 독립된 하位 문제로 분해한다.
• 환경에 맞는 보상 함수를 사용하여 각 목적으로 별도의 강화학습 정책을 훈련시킨다.
• 이점 함수에서 유도된 학습 가능한 λ 계수를 사용하여 정책을 동적으로 융합하는 전략을 적용한다.
• 정책 훈련 및 융합 과정에서 관련성과 중복을 균형 있게 조절하기 위해 MMR을 지침 메커니즘으로 활용한다.
• 정책 일반화와 문장 표현 향상을 위해 계층적 문서 구조를 활용한다.
• 중복성 평가 및 요약 품질 평가를 위해 ROUGE-L과 BERT 기반 코사인 유사도를 적용한다.

실험 결과

연구 질문

• RQ1 다중 목표 강화학습 프레임워크는 단일 정책 기반 접근 방식보다 중요도, 관련성, 길이를 다중 문서 요약에서 더 효과적으로 최적화할 수 있는가?
• RQ2 정책 융합은 단일 RL 정책을 사용할 때보다 요약 품질을 어떻게 향상시키는가?
• RQ3 제안된 방법은 다양한 입력 문서 수에 걸쳐 중복성을 얼마나 줄이고 중요한 정보를 유지하는가?
• RQ4 이점 함수 기반의 적응형 λ 계수는 정책 융합에서 고정된 λ 값과 비교해 어떤가?
• RQ5 이 프레임워크는 입력 문서 수가 다양할 경우에도 일관된 성능을 유지하는가?

주요 결과

• PoBRL는 DUC-04 데이터셋에서 최고 수준의 ROUGE-L F1 점수 38.67을 기록하여 기존 방법들인 RL w/o Blend(36.95) 및 OCCAMS_V(38.50)를 능가한다.
• Multi-News 데이터셋에서는 λ=0.9일 때 ROUGE-L F1 점수가 38.13, 적응형 λ일 때는 38.67을 기록하여 기준 모델을 크게 앞서며 성능을 높였다.
• ROUGE-L 오버랩에서 중복성을 91.6% 감소시켜 0.19(제안 방법) 대비 2.28(기존 방법)로 줄였으며, BERT 기반 코사인 유사도는 12.73(제안 방법) 대비 12.49(기존 방법)로 증가하여 문장 수준의 반복성을 낮춘 것으로 나타났다.
• 인간 평가 결과 PoBRL는 중복성 평균 점수 4.68과 문법 평균 점수 4.28을 기록하여 CopyTransformer, Hi-Map, MatchSum를 모두 능가했다.
• 입력 문서 수가 2부터 9까지 다양할 때에도 일관된 성능을 유지하여 입력 크기 변화에 대한 강건성을 입증했다.
• 단일 정책 기반 RL(36.95 → 38.67 ROUGE-1)에 비해 정책 융합이 성능 향상에 크게 기여함을 확인하여 전문화된 정책을 융합하는 전략의 효과성을 입증했다.