[논문 리뷰] Text Summarization with Latent Queries

Yumo Xu, Mirella Lapata|arXiv (Cornell University)|2021. 05. 31.

Topic Modeling참고 문헌 47인용 수 8

한 줄 요약

이 논문은 텍스트 요약의 통합 추상적 요약 시스템인 LaQSum을 제안한다. 이 시스템은 문서에서 이산 잠재 변수로 쿼리를 모델링함으로써, 훈련 시 쿼리 애너테이션 없이도 제로샷 쿼리 집중 요약을 가능하게 한다. 깊이 있는 생성적 프레임워크 하에 잠재 쿼리 모델과 조건부 언어 모델을 동시에 최적화함으로써, 다양한 쿼리 유형, 문서 설정, 도메인에서 최신 기술 수준의 성능을 달성한다. 이는 일반 요약 및 제로샷 쿼리 집중 요약 벤치마크에서 강력한 베이스라인을 능가한다.

ABSTRACT

The availability of large-scale datasets has driven the development of neural models that create summaries from single documents, for generic purposes. When using a summarization system, users often have specific intents with various language realizations, which, depending on the information need, can range from a single keyword to a long narrative composed of multiple questions. Existing summarization systems, however, often either fail to support or act robustly on this query focused summarization task. We introduce LaQSum, the first unified text summarization system that learns Latent Queries from documents for abstractive summarization with any existing query forms. Under a deep generative framework, our system jointly optimizes a latent query model and a conditional language model, allowing users to plug-and-play queries of any type at test time. Despite learning from only generic summarization data and requiring no further optimization for downstream summarization tasks, our system robustly outperforms strong comparison systems across summarization benchmarks with different query types, document settings, and target domains.

연구 동기 및 목표

• 훈련 데이터로 쿼리 애너테이션이 없는 일반 요약 데이터만을 사용하여 대규모 쿼리 집중 요약(QFS) 훈련 데이터의 부족을 해결한다.
• 새로운 쿼리 유형에 대해 재학습이 필요 없이 일반 요약과 쿼리 집중 요약을 모두 지원하는 통합 요약 시스템을 구축한다.
• 사용자가 다양한 형식(예: 키워드, 질문 등)의 쿼리를 테스트 시점에 지정할 수 있도록 하여, 모델 미세조정 없이도 강건한 제로샷 추론을 가능하게 한다.
• 쿼리를 입력 문서에서 직접 유도된 이산 잠재 변수로 모델링함으로써, 파이프라인 기반의 쿼리 추출 또는 생성을 피한다.
• 입력 문서의 쿼리 무관 및 쿼리 집중 시각을 학습함으로써, 다양한 쿼리 형식과 도메인 간 일반화 및 강건성을 향상시킨다.

제안 방법

• 추상적 요약을 두 가지 구성 요소를 가진 깊이 있는 생성적 프로세스로 공식화한다: (1) 잠재 쿼리 모델링(문서에서 이산 잠재 쿼리를 생성) 및 (2) 조건부 언어 모델링(문서와 잠재 쿼리를 조건으로 하여 요약을 생성).
• 잠재 쿼리의 사후 분포를 근사하기 위해 변분 추론 프레임워크를 사용하여, backpropagation를 통한 엔드 투 엔드 훈련을 가능하게 한다.
• 테스트 시점에 사용자 제공 쿼리를 이용해 잠재 쿼리 사후 분포를 업데이트하는 비모수적 校정 단계를 도입함으로써, 재학습 없이도 제로샷 추론을 가능하게 한다.
• 이중 시각 인코더 아키텍처를 활용한다: 하나의 시각은 쿼리 조건 없이 문서의 맥락을 캡처하고, 다른 하나는 잠재 쿼리를 통해 쿼리 인식 표현에 집중한다.
• 쿼리 애너테이션이 없는 일반 요약 데이터만을 사용하여 모델을 훈련하며, 추출 태깅(약한 감독)과 추상적 생성(강한 감독) 양측에서 지도를 받는다.
• 후행 드롭아웃 및 아블레이션 기법을 적용하여 각 구성 요소의 기여도를 분석하고, 쿼리 무관 시각과 쿼리 믿음 업데이트 메커니즘의 역할을 분석한다.

실험 결과

연구 질문

• RQ1 일반 요약 데이터만으로 훈련된 단일 신경 요약 모델이 테스트 시 다양한 쿼리 유형으로 일반화될 수 있는가?
• RQ2 입력 문서에서 직접 파생된 이산 잠재 변수로 쿼리를 모델링하는 것이, 파이프라인 기반의 쿼리 생성 또는 추출 방식보다 얼마나 효과적인가?
• RQ3 테스트 시점에 잠재 쿼리 사후 분포를 비모수적으로 校정함으로써, 다양한 쿼리 형식 간 제로샷 성능 향상에 얼마나 기여하는가?
• RQ4 의미 있는 잠재 쿼리를 학습하는 데 있어, 태깅과 같은 약한 감독과 인간 요약과 같은 강한 감독 간의 상대적 기여도는 어떠한가?
• RQ5 잠재 쿼리 모델이 완벽하지 않을 경우, 쿼리 무관 시각의 포함 여부가 모델 성능에 어떤 영향을 미치는가?

주요 결과

• LaQSum은 QFS나 QA 애너테이션을 사용하는 것보다 비용이 더 많이 드는 시스템인 Bart-Caq와 MargeSum을 능가하는 제로샷 추상적 쿼리 집중 요약에서 최신 기술 수준의 성능을 달성한다.
• DUC 2007 및 DUC 2008 데이터셋에서 LaQSum은 강력한 추출 기반 베이스라인인 QuerySum을 능가하고, 모든 ROUGE 지표에서 Bart 및 GSum+Query E와 같은 제로샷 추상적 모델을 능가한다.
• 아블레이션 연구 결과, 테스트 시점에 비모수적 쿼리 校정을 제거할 경우 성능 저하가 심각하게 발생함을 확인하여, 이 기법이 제로샷 적응에 핵심적인 역할을 한다는 것을 입증한다.
• 태깅과 생성 지도를 함께 학습시키는 것이, 약한 또는 강한 감독만을 사용하는 것보다 더 나은 성능을 내며, 잠재 쿼리 학습에서 유의미한 상호 보완 효과를 보임을 시사한다.
• 쿼리 무관 시각을 제거할 경우 성능 저하가 심각하게 발생함을 확인하여, 모델이 잠재 쿼리 집중 표현 외에도 일반 문서 맥락을 유지함으로써 유의미하게 이점을 얻음을 입증한다.
• 후행 드롭아웃 실험 결과, 정확하지 않은 잠재 쿼리 모델에서 오는 오류 전파가 생성 품질에 악영향을 미침을 확인하였으며, 이는 강건한 이중 시각 아키텍처의 중요성을 강조한다.