[논문 리뷰] Extractive Summarization: Limits, Compression, Generalized Model and Heuristics

Rakesh Verma, Daniel Lee|arXiv (Cornell University)|2017. 04. 18.

Topic Modeling참고 문헌 29인용 수 6

한 줄 요약

이 논문은 DUC 데이터셋에서 ROUGE 평가를 사용하여 추출적 요약의 내재적 한계를 조사하며, 인간의 개성적 요약과 비교할 때 조차도 최적의 추출적 시스템이 약 90%의 ROUGE-1 재현율을 초과할 수 없음을 증명한다. 일반화된 요약 모델을 도입하고 문서의 압축 가능성을 정의하며 히ュ리스틱을 평가하여, 최신 기술 시스템이 단일 문서 요약의 이론적 재현율 한계의 약 54%에만 도달하고 있음을 보여준다.

ABSTRACT

Due to its promise to alleviate information overload, text summarization has attracted the attention of many researchers. However, it has remained a serious challenge. Here, we first prove empirical limits on the recall (and F1-scores) of extractive summarizers on the DUC datasets under ROUGE evaluation for both the single-document and multi-document summarization tasks. Next we define the concept of compressibility of a document and present a new model of summarization, which generalizes existing models in the literature and integrates several dimensions of the summarization, viz., abstractive versus extractive, single versus multi-document, and syntactic versus semantic. Finally, we examine some new and existing single-document summarization algorithms in a single framework and compare with state of the art summarizers on DUC data.

연구 동기 및 목표

• DUC 데이터셋에서 ROUGE 평가 하에 추출적 요약기의 내재적 성능 한계를 규명하는 것.
• 다양한 텍스트 장르에서 문서의 압축 가능성 개념을 정의하고 분석하는 것.
• 개성적/추출적, 단일/다중 문서, 문법적/의미적 차원을 통합하는 일반화된 요약 모델을 개발하는 것.
• 통합 프레임워크 내에서 기존 및 신규 히ュ리스틱을 단일 문서 요약에 대해 평가하고 비교하는 것.
• 표준 벤치마크에서 최신 기술 시스템과 이론적 성능 상한선 사이의 격차를 평가하는 것.

제안 방법

• 최적의 추출적 요약이 최소 커버 문제와 등가임을 증명하여 NP-완전성과 근사율이 로그 수준인 그레디 히ュ리스틱을 확립한다.
• 골드 표준 개성적 요약과의 비교를 위해 ROUGE 메트릭(ROUGE-1, ROUGE-2, ROUGE-LCS)을 사용하여 요약 성능을 평가한다.
• 크기 기반, 크기+동적 프로그래밍, TF-IDF, 하향식 동적 프로그래밍을 포함한 여러 히ュ리스틱을 도입하고 평가한다.
• 일반화된 모델을 적용하여 뉴스 기사, 과학 논문, 단편 소설 등 다양한 분야에서의 압축 가능성을 분석한다.
• 히ュ리스틱 기반 요약기들을 최신 기술 시스템(SynSem, KKV, TextRank, MEAD, McDonald)과 DUC 2002 베이스라인(첫 100단어)과 비교한다.
• 모든 요약에 대해 공정한 비교를 확보하기 위해 DUC 2002 및 DUC 2001 데이터셋에서 요약을 100단어로 잘라내는 방식을 적용한다.

실험 결과

연구 질문

• RQ1 인간의 개성적 요약과 비교할 때 DUC 2001 및 2002 데이터셋에서 추출적 요약기의 이론적 재현율 한계는 무엇인가?
• RQ2 뉴스, 과학 논문, 단편 소설와 같은 다양한 장르에서 문서의 압축 가능성은 어떻게 달라지는가?
• RQ3 기존 요약 히ュ리스틱(TF-IDF, 그레디, 하향식 등)이 이론적 성능 한계에 얼마나 다가서는가?
• RQ4 최신 기술 시스템은 ROUGE F1 점수 측면에서 이론적 한계와 첫 100단어의 베이스라인과 비교해 어떻게 성능을 내는가?
• RQ5 일반화된 요약 모델은 개성적/추출적, 단일/다중 문서, 문법적/의미적 차원의 요약을 통합할 수 있는가?

주요 결과

• DUC 2001-2002 데이터셋에서 인간의 개성적 요약의 평균 ROUGE-1 재현율은 약 90%이며, 이는 추출적 시스템의 상한선을 설정한다.
• 단일 문서 요약에서 가장 우수한 성능을 보인 히ュ리스틱(하향식)은 ROUGE-1 F1 점수 0.444를 기록하여 이론적 재현율 한계의 약 54%에 해당한다.
• 동적 프로그래밍 알고리즘은 ROUGE-1 F1(0.444)과 ROUGE-LCS F1(0.408)에서 최고 성능을 기록하여 대부분의 베이스라인과 최신 기술 시스템을 능가했다.
• DUC 2002 베이스라인(첫 100단어)은 ROUGE-1 F1 점수 0.462를 기록하여 KKV와 TextRank를 포함한 여러 고급 시스템을 능가했다.
• 다중 문서 요약의 경우 성능 한계가 상당히 낮다—최고의 시스템들도 이론적 재현율 상한선의 약 1/3에 불과하다.
• 하향식 및 동적 프로그래밍 히ュ리스틱은 ROUGE-LCS에서 뛰어난 성능을 보였으며, F1 점수는 각각 0.408로 동일했고, 이는 이 메트릭에서 SynSem과 KKV를 모두 능가했다.