[논문 리뷰] Query Focused Multi-Document Summarization with Distant Supervision

Yumo Xu, Mirella Lapata|arXiv (Cornell University)|2020. 04. 06.

Topic Modeling참고 문헌 43인용 수 10

한 줄 요약

이 논문은 질문 기반 다중 문서 요약을 위한 코arse-to-fine 프레임워크를 제안하며, 질문 회상 데이터셋으로부터의 원거리 지도 학습을 활용해 학습 가능한 증거 추정기(의견 추정기)를 도입하여, 질문과 문서 조각 간의 의미적 관련성 추정을 향상시킨다. 이 방법은 DUC 2006 및 2007 벤치마크에서 자동 평가와 인간 평가 모두에서 강력한 베이스라인을 능가하며, 더 관련성 있고 간결하고 일관성 있는 요약을 생성한다.

ABSTRACT

We consider the problem of better modeling query-cluster interactions to facilitate query focused multi-document summarization (QFS). Due to the lack of training data, existing work relies heavily on retrieval-style methods for estimating the relevance between queries and text segments. In this work, we leverage distant supervision from question answering where various resources are available to more explicitly capture the relationship between queries and documents. We propose a coarse-to-fine modeling framework which introduces separate modules for estimating whether segments are relevant to the query, likely to contain an answer, and central. Under this framework, a trained evidence estimator further discerns which retrieved segments might answer the query for final selection in the summary. We demonstrate that our framework outperforms strong comparison systems on standard QFS benchmarks.

연구 동기 및 목표

• 질문 기반 요약(QFS)에서 레이블이 부여된 학습 데이터의 부족 문제를 기존 질문 회상 데이터셋에서 유래한 원거리 지도 학습을 통해 해결하고자 한다.
• 관련성, 증거, 중심성이라는 별도의 학습 가능한 구성요소로 구성된 모델을 통해 질문과 문서 조각 간의 의미적 매칭을 향상시키고자 한다.
• 질문-조각 관련성, 답변 가능성, 문장 중심성 추정을 분리함으로써 요약 품질을 향상시키고자 한다.
• 각 단계에서 후보 조각 수가 점차 감소하는 방식으로 처리하므로 메모리 부담을 줄이는 가용성 있고 계산적으로 효율적인 프레임워크를 개발하고자 한다.
• 사전 훈련된 모델을 QA 데이터에 맞게 미세조정하면 기존의 검색 기반 방법보다 QFS에서 더 우수한 성능을 내는지 입증하고자 한다.

제안 방법

• 프레임워크는 세 단계의 순차적 추정기인 관련성, 증거, 중심성 추정기를 포함하는 코arse-to-fine 파이프라인을 사용하며, 각 추정기는 점점 줄어드는 후보 조각 세트를 처리한다.
• 증거 추정기는 대규모 QA 데이터셋(SQuAD 등)에서 유래한 원거리 지도 학습을 통해, 질문에 대한 답변이 포함될 가능성이 높은 조각을 식별할 수 있도록 훈련된다.
• 사전 훈련된 BERT 인코더를 QA 작업에 맞게 미세조정하여 질문과 텍스트 조각 간의 깊은 의미적 상호작용을 포착한다.
• 중심성 추정기는 관련성, 증거 품질, 클러스터 내에서의 구조적 중요성에 기반해 최종 요약 조각을 선별한다.
• 모델은 계층적 선택 과정을 사용한다: 관련성 필터링이 먼저 이루어지고, 그 다음 증거 재정렬이 이루어지고, 마지막으로 중심성 선택이 이루어진다.
• 프레임워크는 증거 추정을 기계적 독해 문제로 간주하며, 더 나은 일반화를 위해 문단 수준 또는 문장 수준의 QA 신호를 사용한다.

실험 결과

연구 질문

• RQ1 질문 회상 데이터셋에서 유래한 원거리 지도 학습이 QFS에서 질문-문서 조각 간 관련성 추정에 효과적으로 기여할 수 있는가?
• RQ2 분리된 코arse-to-fine 추정 파이프라인은 QFS에서 종단 간(end-to-end) 또는 그래프 기반 중심성 모델보다 우월한가?
• RQ3 BERT를 QA 데이터에 맞게 미세조정하면 질문 기반 요약의 의미적 매칭에 얼마나 기여하는가?
• RQ4 검색 기반 베이스라인과 비교했을 때, 전용 증거 추정기의 포함 여부가 요약의 관련성과 중복성에 어떤 영향을 미치는가?
• RQ5 관련성과 증거가 이미 모델링된 상황에서 중심성 추정기가 고품질이고 일관성 있는 요약을 생성하는 데 필수적인가?

주요 결과

• 제안된 모델은 DUC 2006 및 2007 벤치마크에서 자동 평가와 인간 평가 모두에서 VAESum 및 Lead와 같은 강력한 베이스라인을 능가한다.
• k^{\text{QA}} \geq 80 일 때, 문단 수준에서 훈련된 증거 추정기가 문장 수준에서 훈련된 것보다 성능이 뛰어나, 더 긴 맥락에서 더 나은 성능을 내는 것으로 나타났다.
• 검색 기반 베이스라인(상위 문장들)은 문장 및 문단 수준에서 훈련된 증거 추정기 모두보다 일관되게 성능이 열 劣하므로, 미세조정된 QA 모델의 이점이 확인되었다.
• 중심성 추정기를 제거하면, 고품질의 질문-관련 및 답변 가능성 있는 조각이 존재하는 상황에서도 성능이 크게 떨어지므로, 최종 선택 단계에서의 가치가 입증되었다.
• 인간 평가 결과, QuerySum 요약은 VAESum 및 Lead보다 유의미하게 더 관련성 있고 중복도가 낮으며, Lead 베이스라인과 유사한 수준의 일관성을 보였다.
• 중심성 추정기의 질문 구성요소 $\tilde{q}$ 는 균일한 필터링보다 측정 가능한 향상을 이끌어내어, 기본 검색을 넘어서 관련성을 정밀하게 조정하는 역할을 한다고 나타났다.