[논문 리뷰] Generating Query Focused Summaries from Query-Free Resources

Yumo Xu, Mirella Lapata|arXiv (Cornell University)|2020. 12. 29.

Topic Modeling참고 문헌 41인용 수 4

한 줄 요약

이 논문은 질의 중심 요약(QFS)을 위한 약한 지도 학습 프레임워크인 Marge를 제안한다. 이 프레임워크는 질의 관련 자원이 필요 없이 일반 요약 데이터를 활용한다. 일관된 마스킹된 표현을 사용해 요약을 가짜 질의로 변환함으로써, Marge는 증거 순위 매기기용 질의 모델을 학습하고 일관되고 질의 제어가 가능한 요약을 생성한다. 이는 약한 지도 학습에도 불구하고 여러 QFS 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The availability of large-scale datasets has driven the development of neural models that create generic summaries from single or multiple documents. In this work we consider query focused summarization (QFS), a task for which training data in the form of queries, documents, and summaries is not readily available. We propose to decompose QFS into (1) query modeling (i.e., finding supportive evidence within a set of documents for a query) and (2) conditional language modeling (i.e., summary generation). We introduce MaRGE, a Masked ROUGE Regression framework for evidence estimation and ranking which relies on a unified representation for summaries and queries, so that summaries in generic data can be converted into proxy queries for learning a query model. Experiments across QFS benchmarks and query types show that our model achieves state-of-the-art performance despite learning from weak supervision.

연구 동기 및 목표

• 질의 중심 요약(QFS)을 위한 학습 데이터 부족 문제를 해결하기 위해, 일반적으로 이용 가능한 질의-문서-요약 삼중항이 제공되지 않는 환경을 고려한다.
• 질문-답변 또는 어휘 재구성 데이터셋에 의존하지 않고 질의 모델을 학습함으로써 데이터 의존도와 비용을 줄인다.
• 요약과 질의를 위한 통합된 표현을 개발하여 일반 요약 데이터를 QFS에 재사용할 수 있도록 한다.
• 약한 지도 학습 조건에서도 질의와 관련성 있고 간결한 일관된 추상적 요약을 생성한다.
• 비용이 많이 드는 외부 질의 자원 없이도 일반 요약 데이터셋만을 사용해 QFS에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 요약과 질의를 위한 통합된 표현을 사용하는 마스킹된 ROUGE 회귀 프레임워크인 Marge를 제안하여 증거 추정 및 순위 매기기를 수행한다.
• 일관된 마스킹된 표현을 통해 일반 요약 데이터셋의 요약을 가짜 질의로 변환함으로써, 질의 모델 학습을 위한 약한 지도 학습을 가능하게 한다.
• QFS를 두 단계로 분해한다: (1) Marge를 사용한 증거 순위 매기기를 통한 질의 모델링, (2) 선택된 증거에 조건부로 추상적 생성 수행.
• 요약과 질의를 임베딩 공간에서 정렬하기 위해 통합된 마스킹된 표현(UMR)을 사용하여 공통된 표현 학습을 가능하게 한다.
• 순위 매겨진 문장에서의 증거를 사용하여 길이 제어 및 질의 관련성을 갖춘 추상적 요약을 생성하도록 생성자 모델을 학습한다.
• 질의 모델과 생성자 양쪽 모두에 대해 일반 요약 데이터로 미세조정된 사전학습 모델(예: BART)을 활용한다.

실험 결과

연구 질문

• RQ1 질의 관련 자원에 접근할 수 없는 조건에서 일반 요약 데이터를 효과적으로 재사용하여 질의 중심 요약 시스템을 학습시킬 수 있는가?
• RQ2 요약과 질의를 위한 통합된 표현이 QFS에서 질의 모델링에 대한 약한 지도 학습을 가능하게 하는가?
• RQ3 증거 순위 매기기 이후 추상적 생성을 수행하는 두 단계 프레임워크가 반복적 또는 추출 기반 기준보다 더 일관되고 관련성 있는 요약을 생성하는가?
• RQ4 일반 요약 데이터셋만으로 학습된 모델이 다양한 도메인과 질의 유형에서 QFS에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 QA 데이터셋에서의 원거리 지도 학습으로 학습된 모델에 비해 생성된 요약의 일관성과 관련성은 어떻게 비교되는가?

주요 결과

• Marge는 DUC와 TD-QFS를 포함한 여러 벤치마크에서 증거 순위 매기기 및 추상적 QFS 성능 모두에서 최신 기술 수준(SOTA)을 달성했으며, 이는 일반 요약 데이터만을 사용한 결과이다.
• 인간 평가 결과 MargeSum-Cd는 PQSum-Wsl과 동등한 관련성과 간결성 수준을 보였고, 문장 재정렬으로 인해 일관성이 떨어지는 PQSum-Wsl 및 QuerySum에 비해 유의미하게 더 높은 일관성을 확보했다.
• MargeSum-Cd는 TD-QFS에서 관련성(4.55 vs. 3.63)에서 UniLM-Cd를 앞서며, 일관성(4.37 vs. 4.28) 또한 유지함으로써 통합 표현과 종단간 생성의 효과성을 입증했다.
• DUC에서 인간 평가 관련성 점수는 2.91, TD-QFS에서는 4.55를 기록했으며, 이는 UniLM-Cd(3.63)를 크게 앞서고 TD-QFS에서 골드 표준 관련성(4.70)에 가까워졌다.
• 요약에서 유도된 가짜 질의를 활용한 약한 지도 학습이 효과적이었으며, 이는 QA 또는 어휘 재구성 데이터셋에 접근하지 않아도 질의 관련 증거 순위 매기기를 학습할 수 있음을 보여준다.
• 추상적 생성 프레임워크는 단일 패assing으로 긴 일관성 있는 요약을 생성하여 반복적 또는 추출 기반 추상적 파ip라인에서 흔히 발생하는 일관성 문제를 피한다.