[논문 리뷰] Unsupervised Extractive Summarization using Pointwise Mutual Information

Vishakh Padmakumar, He He|arXiv (Cornell University)|2021. 02. 11.

Topic Modeling참고 문헌 26인용 수 5

한 줄 요약

이 논문은 문장 간 상호정보량(PMI)을 사용하여 문서에 대한 관련성과 요약 내의 중복도를 측정함으로써 비지도 추출 요약 방법을 제안한다. 미세튜닝된 사전학습된 언어 모델을 활용해 PMI를 추정함으로써, 관련성을 극대화하고 중복도를 최소화하는 문장을 탐욕적으로 선택하는 방법으로, 뉴스, 의료 기사, 개인 일기 등 다양한 도메인에서 유사도 기반 기준보다 뛰어난 성능을 보였다.

ABSTRACT

Unsupervised approaches to extractive summarization usually rely on a notion of sentence importance defined by the semantic similarity between a sentence and the document. We propose new metrics of relevance and redundancy using pointwise mutual information (PMI) between sentences, which can be easily computed by a pre-trained language model. Intuitively, a relevant sentence allows readers to infer the document content (high PMI with the document), and a redundant sentence can be inferred from the summary (high PMI with the summary). We then develop a greedy sentence selection algorithm to maximize relevance and minimize redundancy of extracted sentences. We show that our method outperforms similarity-based methods on datasets in a range of domains including news, medical journal articles, and personal anecdotes.

연구 동기 및 목표

• 뉴스 이외의 도메인에서 레이블이 없는 데이터의 부족 문제를 해결하기 위해 문장 유사도에 의존하지 않는 비지도 추출 요약 방법을 개발한다.
• PMI를 관련성(문장-문서 의존성)과 중복도(문장-문장 의존성) 측정 수단으로 사용하여 요약에서 문장 중요도를 체계화한다.
• 미세튜닝된 언어 모델을 통해 추정한 PMI 점수를 기반으로 관련성을 극대화하고 중복도를 최소화하는 탐욕적 문장 선택 알고리즘을 설계한다.
• 뉴스, 의료 기사, 개인 서사 등 다양한 도메인에서의 일반화 능력을 입증한다. 이는 특히 유사도 기반 방법이 실패하기 쉬운 분야이다.
• PacSum과 같은 일부 추출 기반 기준 및 감독 학습 모델이 앓는 위치 편향에 대한 의존도를 줄인다.

제안 방법

• 관련성은 요약 문장과 문서 간의 PMI로 정의되며, 조건부 확률 P(d|s)와 균일 확률 P(d)를 언어 모델을 통해 추정하여 log(P(d|s)/P(d))로 계산된다.
• 중복도는 요약 문장 쌍 간의 PMI로 측정되며, 조건부 확률 P(s_j|s_i)를 사용해 후행 문장이 전행 문장으로부터 유추 가능한지를 평가한다.
• 미세튜닝된 사전학습된 언어 모델(예: BERT)을 사용해 PMI 점수를 효율적이고 맥락적으로 추정함으로써 어휘나 임베딩 유사도에 의존하지 않는다.
• 탐욕적 문장 선택 알고리즘은 누적 PMI 점수를 기반으로 관련성 증가를 극대화하고 중복도를 최소화하는 문장을 순차적으로 추가한다.
• 이 방법은 위치에 민감하지 않아 PacSum과 같은 모델이 뉴스 이외의 데이터셋에서 성능이 떨어지는 주요 원인인 선두 편향을 피한다.
• CNN/DM, Reddit-TIFU, 의료 기사 데이터셋에서 ROUGE 점수를 사용해 평가하였으며, 관련성과 중복도의 기여도를 분리하는 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 PMI 기반의 관련성 및 중복도 측정 지표가 비지도 추출 요약에서 전통적인 문장 유사도 기반 특징보다 우월한가?
• RQ2 관련성과 중복도를 선택 기준에 통합할 경우 다양한 도메인에서 요약 성능이 얼마나 향상되는가?
• RQ3 선두 위치 기반 기준인 PacSum 및 lead-k와 비교해 본다면, 선두 편향이 없는 상황에서 제안된 방법의 성능은 어떠한가?
• RQ4 PMI를 추정하기 위해 사전학습된 언어 모델을 사용할 경우, 어휘나 임베딩 기반 유사도보다 더 나은 콘텐츠 선택이 가능한가?
• RQ5 최종 요약 성능에서 관련성과 중복도의 상대 기여도는 각각 얼마인가?

주요 결과

• 제안된 방법은 CNN/DM, Reddit-TIFU, 의료 기사 데이터셋에서 모두 유사도 기반 기준보다 뛰어난 성능을 보였으며, CNN/DM에서 ROUGE-1 점수 36.68, Reddit-TIFU에서 18.93을 기록했다.
• 분석 결과, 관련성과 중복도를 함께 고려할 경우 최고의 성능을 기록하였으며, 관련성만 고려할 경우 CNN/DM에서 ROUGE-1 35.17을 기록했고, 중복도만 고려할 경우 성능이 저조하여 23.85를 기록했다.
• 이 방법은 위치에 민감하지 않으며, PacSum이 CNN/DM에서 성능을 높이는 데 기여하는 선두 편향을 피한다. PacSum의 선택 문장 중 82.3%가 첫 세 문장에 속해 있었지만, 제안된 방법은 이 비율이 21.4%에 불과했다.
• PacSum과 다른 추출 기반 방법 간의 성능 격차는 주로 선두 편향 때문이며, XSum와 같이 선두 편향이 없는 데이터셋에서는 PacSum의 성능이 크게 떨어진다.
• 이 방법은 뉴스 이외의 도메인, 즉 개인 일기나 의료 기사 등에서도 잘 일반화되며, 이는 특히 유사도 기반 방법이 실패하기 쉬운 분야이다.
• 의미적 의존도를 측정하는 데 PMI를 사용할 경우 어휘나 임베딩 유사도보다 더 의미 있는 콘텐츠 선택이 가능하며, 이는 ROUGE 점수의 일관된 향상으로 입증되었다.