[논문 리뷰] Multi-hop Inference for Question-driven Summarization

Yang Deng, Wenxuan Zhang외 1명|arXiv (Cornell University)|2020. 10. 08.

Topic Modeling참고 문헌 42인용 수 5

한 줄 요약

이 논문은 비사실적 질문 답변을 위한 새로운 개괄 요약 모델인 다단계 선택적 생성기(Multi-hop Selective Generator, MSG)를 제안한다. 이 모델은 문서 전반에 걸쳐 정당화 문장을 식별하기 위해 다단계 추론을 통합하여, 질문에 대한 관련성과 문장 간 상호관계를 동시에 모델링한다. 인간과 유사한 추론 모듈과 다중 시각 커버리지 기반의 게이트형 선택적 포인터 생성기로 구성된 MSG는 간결하고 정보가 풍부한 요약을 생성하며, WikiHow와 PubMedQA에서 최신 기술을 초월한다. 또한 해석 가능한 정당화 근거를 제공한다.

ABSTRACT

Question-driven summarization has been recently studied as an effective approach to summarizing the source document to produce concise but informative answers for non-factoid questions. In this work, we propose a novel question-driven abstractive summarization method, Multi-hop Selective Generator (MSG), to incorporate multi-hop reasoning into question-driven summarization and, meanwhile, provide justifications for the generated summaries. Specifically, we jointly model the relevance to the question and the interrelation among different sentences via a human-like multi-hop inference module, which captures important sentences for justifying the summarized answer. A gated selective pointer generator network with a multi-view coverage mechanism is designed to integrate diverse information from different perspectives. Experimental results show that the proposed method consistently outperforms state-of-the-art methods on two non-factoid QA datasets, namely WikiHow and PubMedQA.

연구 동기 및 목표

• 비사실적 QA에서 문장 간 상호관계를 포착하지 못하고 체계적인 추론이 부족한 기존 질의 기반 요약 방법의 한계를 해결하기 위해.
• 원천 문서에서 핵심 정보를 식별하고 정당화하기 위해 다단계 추론을 지원하는 질문 기반의 개괄 요약 모델을 개발하기 위해.
• 다중 시각 커버리지 메커니즘을 통해 반복을 줄이면서도 일관성과 정보성은 유지하기 위해.
• 다단계 추론 과정에서 문장 중요도를 모델링하여 설명 가능한 정당화 문장을 제공하기 위해.

제안 방법

• 단어 수준와 문장 수준에서 문장 중요도를 평가하는 다단계 추론 모듈을 설계하여, 질문에 대한 의미적 관련성과 문장 간 일관성을 모두 모델링한다.
• 게이트형 선택적 포인터 생성기 네트워크를 사용하여 문서와 질문에서 유관한 내용을 동적으로 주시하고, 여러 단계의 추론 결과를 통합한다.
• 질문과 문서에서 동일한 토큰에 대해 반복적으로 주의를 기울이는 것을 방지하기 위해 다중 시각 커버리지 메커니즘을 도입하여 생성 중 반복을 줄인다.
• 어텐션 메커니즘을 통해 문장 중요도 점수를 계산하고, 각 추론 단계에 걸쳐 정규화하여 콘텐츠 선택을 안내하며, 실무에서 3단계 추론이 최적임을 확인하였다.
• 문장의 유창성, 사실 일관성, 정당화 완전성의 세 가지 기준을 동시에 최적화하기 위해 시퀀스-투-시퀀스 학습 목표를 사용한다.
• 모델은 비사실적 QA 벤치마크인 WikiHow와 PubMedQA에서 학습 및 평가되었으며, 단계 수와 커버리지 메커니즘에 대한 분석 실험을 실시하였다.

실험 결과

연구 질문

• RQ1 다단계 추론은 비사실적 질문에 대한 질문 기반 개괄 요약에서 콘텐츠 선택과 정당화 능력을 향상시키는가?
• RQ2 문장 수준의 상호관계 모델링 통합이 생성된 요약의 품질과 일관성에 어떤 영향을 미치는가?
• RQ3 기존 커버리지 메커니즘 대비 다중 시각 커버리지 메커니즘이 개괄 요약에서 반복을 얼마나 줄이는가?
• RQ4 제안된 방법은 기존의 추출형 및 개괄형 기준 모델보다 정보가 풍부하고 정확한 답변을 생성하는가?
• RQ5 다른 수의 추론 단계(1, 2, 3)가 모델 성능과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 제안된 MSG 모델은 WikiHow와 PubMedQA 데이터셋에서 최신 기술을 초월하는 성능을 달성하였으며, ROUGE 및 BLEU 지표에서 기존의 개괄형 및 추출형 기준 모델을 모두 압도하였다.
• 단계 수가 증가함에 따라 성능이 향상되다가 3단계까지 도달하면 정점에 도달하거나 약간 감소함을 확인하여, 3단계가 모델의 적정 하이퍼파라미터임을 입증하였다.
• 3단계 버전의 MSG는 제1단계 및 제3단계 추론 문장에서 필요한 정보를 성공적으로 파악하여 완전하고 정확한 요약 생성이 가능하였다.
• 다중 시각 커버리지 메커니즘이 생성된 답변의 n-gram 중복을 크게 감소시켜, 기존 커버리지 메커니즘 대비 반복 감소 효과가 뚜렷했다.
• 사례 연구 결과, MSG(3단계)는 종합적이고 정당화된 요약을 생성하는 반면, 1단계 및 2단계 버전은 다단계 추론이 필요한 경우 핵심 내용을 누락하였다.
• QPGN, QS, SD2 등의 기준 모델들은 핵심 정보를 포착하지 못하거나 관련 없는 내용을 생성하여, MSG의 추론 인식 아키텍처의 우수성을 입증하였다.