[논문 리뷰] Sentence Centrality Revisited for Unsupervised Summarization

Hao Zheng, Mirella Lapata|arXiv (Cornell University)|2019. 06. 08.

Topic Modeling참고 문헌 48인용 수 21

한 줄 요약

이 논문은 BERT를 통한 의미 표현을 통합하고 문서 구조에서의 위치 영향을 모델링하기 위해 방향성 있는 간선을 사용함으로써 그래프 기반 모델에서 문장 중심성(centrality)을 향상시키는 비지도 개략화 방법인 PacSum을 제안한다. 이 방법은 TextRank와 Lead-3와 같은 강력한 베이스라인을 크게 앞서며, 세 가지 다양한 뉴스 데이터셋에서 수십만 개의 예제로 훈련된 지도 학습 모델과 비교할 만한 성능을 달성한다.

ABSTRACT

Single document summarization has enjoyed renewed interests in recent years thanks to the popularity of neural network models and the availability of large-scale datasets. In this paper we develop an unsupervised approach arguing that it is unrealistic to expect large-scale and high-quality training data to be available or created for different types of summaries, domains, or languages. We revisit a popular graph-based ranking algorithm and modify how node (aka sentence) centrality is computed in two ways: (a)~we employ BERT, a state-of-the-art neural representation learning model to better capture sentential meaning and (b)~we build graphs with directed edges arguing that the contribution of any two nodes to their respective centrality is influenced by their relative position in a document. Experimental results on three news summarization datasets representative of different languages and writing styles show that our approach outperforms strong baselines by a wide margin.

연구 동기 및 목표

• 최소한의 훈련 데이터를 요구하고 언어, 도메인, 요약 스타일에 일반화 가능한 비지도 요약 방법을 개발하기.
• 문서의 논의적 구조와 문장의 위치 중요성을 포착하지 못하는 무방향 그래프 기반 중심성 측정의 한계를 해결하기.
• 전통적인 TF-IDF 또는 단어 겹침 대신 BERT의 문맥 기반 임베딩을 사용하여 문장 유사도 계산을 향상시키기.
• 문장 간의 비대칭적 영향을 방향성 간선을 사용하여 모델링하여 뉴스 기사에서 앞선 문장이 뒤이은 문장에 영향을 주는 경향을 반영하기.
• 간단한 그래프 기반 순위 알고리즘의 아키텍처 수정이 훨씬 적은 데이터로도 지도 학습 모델의 성능을 뛰어넘을 수 있음을 보여주기.

제안 방법

• 문장은 노드이고 간선은 BERT 문장 임베딩를 사용해 계산된 의미 유사도를 나타내는 방향성 그래프를 구성한다.
• 간선 가중치는 문장의 위치에 따라 동적으로 조정되며, 이전 문장에서 이후 문장으로 향하는 간선(앞서 보는 간선)과 이후 문장에서 이전 문장으로 향하는 간선(뒤를 보는 간선)은 서로 다른 가중치를 가진다.
• 방향성을 고려한 수정된 PageRank 알고리즘을 사용하여 중심성 점수를 계산하며, 후행 문장이 전행 문장에 영향을 주는 경우(뒤에서 앞을 보는 간선) 중심성에 더 큰 기여를 한다는 가정을 한다.
• 문장의 위치 정보를 반영하기 위해 위치 보정 중심성 공식을 사용하며, 이는 앞선 문장이 뒤이은 문장에 맥락을 제공한다는 논의 원칙을 반영한다.
• 최종 중심성 점수를 기반으로 요약에 사용할 문장을 선택하며, 상위-k개 문장을 최종 출력으로 추출한다.
• 요약 성능 평가를 위해 ROUGE와 사실 유지도를 측정하기 위한 질문-답변(QA) 평가 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 BERT 기반 문장 임베딩는 그래프 기반 비지도 요약에서 문장 유사도 계산을 향상시키는가?
• RQ2 무방향 대신 방향성 간선을 사용하여 문장 간 관계를 모델링할 경우, 핵심 내용을 더 잘 식별할 수 있는가?
• RQ3 문장 순서와 같은 위치 정보를 통합할 경우, 뉴스 요약에서 중심성 추정에 얼마나 기여하는가?
• RQ4 간단한 비지도 그래프 기반 방법이 대규모 데이터셋으로 훈련된 지도 학습 모델과 비교해 유사한 성능을 달성할 수 있는가?
• RQ5 제안된 방법은 다양한 언어, 글 스타일, 요약 유형에 대해 강건한가?

주요 결과

• BERT 임베딩를 사용한 PacSum은 CNN/Daily Mail, NYT, TTNews의 세 데이터셋 전반에서 TextRank와 Lead-3와 같은 강력한 베이스라인을 뚜렷이 앞서는 성능을 보였다.
• Narayan 등(2018b)과 See 등(2017)이 수십만 개의 예제로 훈련한 지도 학습 모델과 비교해도 유사한 성능을 달성했다.
• QA 평가에서 PacSum은 Lead-3를 능가했으며, 강력한 비지도 베이스라인인 Refresh와 유의미한 차이가 없었다.
• QA 평가 결과, PacSum은 Lead-3나 TextRank보다 더 많은 비율의 질문을 요약에서 해결할 수 있었으며, 핵심 정보를 잘 유지했다.
• 위치 보정 가중치를 가진 방향성 간선의 사용은 특히 핵심 정보가 초기에 나타나는 뉴스 기사에서 중심성 추정 향상에 뚜렷한 개선 효과를 보였다.
• 결과적으로, 방향성 중심성과 BERT의 조합은 비지도 요약에서 강력하고도 아직 충분히 활용되지 않은 접근법이며, 높은 일반화 능력을 지닌다.