[논문 리뷰] Reinforced Extractive Summarization with Question-Focused Rewards

Kristjan Arumae, Fei Liu|arXiv (Cornell University)|2018. 05. 25.

Topic Modeling참고 문헌 32인용 수 6

한 줄 요약

이 논문은 인간의 초록을 기반으로 Cloze 형식의 질문으로 변환하여 요약문이 유창하고 간결하며 사실적으로 정확하도록 훈련하는 강화학습 기반 추출 요약 프레임워크를 제안한다. 질문-답변 성능과 초록과의 어휘 일치도를 최적화함으로써, 표준 벤치마크에서 최신 기술 모델을 능가하며 사실 일관성과 요약 품질이 향상됨을 입증한다.

ABSTRACT

We investigate a new training paradigm for extractive summarization. Traditionally, human abstracts are used to derive goldstandard labels for extraction units. However, the labels are often inaccurate, because human abstracts and source documents cannot be easily aligned at the word level. In this paper we convert human abstracts to a set of Cloze-style comprehension questions. System summaries are encouraged to preserve salient source content useful for answering questions and share common words with the abstracts. We use reinforcement learning to explore the space of possible extractive summaries and introduce a question-focused reward function to promote concise, fluent, and informative summaries. Our experiments show that the proposed method is effective. It surpasses state-of-the-art systems on the standard summarization dataset.

연구 동기 및 목표

• 기존 추출 요약 기법이 불완전한 인간 초록을 지도로 사용하는 데서 비롯하는 한계를 해결하기 위해.
• 인간 초록에서 유도된 Cloze 질문과의 정렬을 통해 추출 요약문의 사실 일관성과 유창성을 향상시키기 위해.
• 표준 레이블 기반 지도 학습보다 질문-답변 지도 학습이 더 나은 선택 기준을 제공할 수 있는지 탐색하기 위해.
• 엔티티 기반 vs. 키워드 기반 질문 생성 전략의 차이가 요약 및 QA 성능에 미치는 영향을 평가하기 위해.
• 요약문이 질문에 대한 답변에 유용한 내용을 유지하면서도 초록과의 어휘 유사도를 유지하도록 유도하는 훈련 프레임워크를 개발하기 위해.

제안 방법

• 핵심 엔티티나 키워드를 빈칸으로 대체하여 인간 초록을 Cloze 형식의 질문으로 변환한다.
• 포인터-게이터 네트워크를 갖춘 시퀀스-투-시퀀스 모델을 사용해 소스 문서에서 추출 요약문을 생성한다.
• 다단계 추론을 위해 요약 문단과 관련 질문 간의 어텐션 메커니즘을 활용한다.
• 유창성, 초록과의 어휘 일치도, QA 성능을 조합한 질문 중심 보상 함수를 설계하여 강화학습을 이끌어낸다.
• 정책 기반 강화학습(예: REINFORCE)을 사용해 다수의 질문-답변 쌍에 걸쳐 기대 보상을 최대화하도록 모델을 훈련시킨다.
• 엔티티 기반 및 키워드 기반 답변을 모두 활용해 다양한 QA 쌍을 생성하고, 그 영향을 평가한다.

실험 결과

연구 질문

• RQ1 인간 초록에서 유도된 Cloze 형식의 질문을 사용해 추출 요약 모델을 훈련시키면 더 정확하고 사실에 충실한 요약문을 도출할 수 있는가?
• RQ2 엔티티 기반과 키워드 기반 질문 생성 간의 선택이 요약 및 QA 성능에 어떤 영향을 미치는가?
• RQ3 질문-답변 목표를 통합함으로써 표준 지도 학습 대비 사실 일관성과 정보량이 향상된 추출 요약문을 도출할 수 있는가?
• RQ4 보상 함수에 포함할 문서당 최적의 질문-답변 쌍 수는 얼마인가?
• RQ5 QA 성능을 위해 훈련된 요약문은 추론 시 질문이 제공되지 않더라도 일반 목적의 요약을 위한 효과적인 문서 대체물로 기능할 수 있는가?

주요 결과

• 제안된 방법은 표준 벤치마크 데이터셋에서 최신 기술 모델을 능가하며, 뛰어난 사실 일관성과 유창성을 입증한다.
• Cloze 질문에서 키워드 기반 답변을 사용할 경우 엔티티 기반 답변 대비 더 우수한 일반화 성능과 더 작은 훈련-검증 정확도 격차를 보였다.
• 문서당 QA 쌍 수를 늘림(K=1에서 K=5로)함으로써 답변 공간은 약 23.7K에서 50.3K로 거의 두 배로 증가했지만, R-2 점수에는 유의미한 향상이 없었다.
• 문서당 QA 쌍 수가 K=1인 모델이 가장 높은 R-2 F-스코어를 기록하여, 짧은 문서에서는 더 많은 질문이 항상 요약 품질 향상에 기여하지는 않음을 시사한다.
• 시스템은 인간 초록과 의미적으로 유사한 요약문을 생성하며, 소스 텍스트에 겹쳐 놓을 수 있어 환상 없이 사실적 내용을 유지한다.
• 이 프레임워크는 추론 시 질문이 제공되지 않더라도 다양한 질문에 답하는 데 효과적인 문서 대체물로 기능하는 요약문을 생성할 수 있다.