[논문 리뷰] Effective extractive summarization using frequency-filtered entity relationship graphs

Archit Sakhadeo, Nisheeth Srivastava|arXiv (Cornell University)|2018. 10. 24.

Topic Modeling참고 문헌 12인용 수 4

한 줄 요약

이 논문은 어휘 빈도 기반 关련 키워드 식별과 빈도 필터링을 적용한 실체 관계 그래프를 결합하여 요약의 정보성과 일관성을 향상시키는 하이브리드 추출 요약 방법을 제안한다. 언어적 구조(주어-서술어-목적어)를 활용해 실체 그래프를 구축하고, 키워드 빈도 기반 필터링을 적용함으로써 DUC 2002에서 TextRank보다 ROUGE-1 F-점수는 7.93% 높고, ROUGE-1 재현율은 17.12% 높으며, 인간 평가자들보다도 더 인간다운 요약으로 평가받는다.

ABSTRACT

Word frequency-based methods for extractive summarization are easy to implement and yield reasonable results across languages. However, they have significant limitations - they ignore the role of context, they offer uneven coverage of topics in a document, and sometimes are disjointed and hard to read. We use a simple premise from linguistic typology - that English sentences are complete descriptors of potential interactions between entities, usually in the order subject-verb-object - to address a subset of these difficulties. We have developed a hybrid model of extractive summarization that combines word-frequency based keyword identification with information from automatically generated entity relationship graphs to select sentences for summaries. Comparative evaluation with word-frequency and topic word-based methods shows that the proposed method is competitive by conventional ROUGE standards, and yields moderately more informative summaries on average, as assessed by a large panel (N=94) of human raters.

연구 동기 및 목표

• 순수 빈도 기반 및 그래프 기반 추출 요약 방법의 한계, 즉 낮은 맥락 커버리지와 끊어진 요약을 해결하기 위해.
• 실체 관계 그래프에 언어적 구조를 통합함으로써 요약의 정보성과 일관성을 향상시키기 위해.
• 사전에 정의된 온톨로지에 의존하는 것을 줄이기 위해 문장 구조에서 자동으로 실체 관계를 추출하기 위해.
• 요약 품질을 균형 있게 평가하기 위해 ROUGE 지표와 인간 평가자 평가를 병행하여 종합적으로 평가하기 위해.
• 키워드 빈도 기반으로 실체 관계를 필터링하면 요약의 관련성과 커버리지가 향상됨을 입증하기 위해.

제안 방법

• 핵심어 해소 기능을 갖춘 오픈 정보 추출(OpenIE)을 사용해 문장으로부터 후보 주어-행동-목적어 삼중항을 추출한다.
• 노드가 실체이고 간선이 그들 사이의 관계인 실체 관계 그래프를 구축한다.
• 문서에서 고빈도 키워드를 포함한 실체 관계만을 유지함으로써 빈도 기반 필터링을 적용한다.
• 문장이 포함한 필터링된 고빈도 실체 관계의 수에 따라 문장을 순위 매긴다.
• 최상위 순위 문장을 선택해 최종 추출 요약을 구성하며, 더 긴 문장에 대한 편향을 줄이기 위해 문장 길이에 따라 정규화하는 것이 가능하다.
• 키워드 빈도와 그래프 중심성의 조합을 통한 하이브리드 점수 기반 메커니즘을 사용해 의미적으로 관련성 있고 잘 연결된 문장을 우선순위로 지정한다.

실험 결과

연구 질문

• RQ1 키워드 빈도와 실체 관계 그래프를 조합하면 순수 빈도 기반 또는 그래프 기반 기준을 초월해 추출 요약 성능을 향상시킬 수 있는가?
• RQ2 키워드 빈도 기반으로 실체 관계를 필터링하면 요약의 커버리지와 일관성이 향상되는가?
• RQ3 기본 ROUGE 지표와 인간 평가를 기반으로 제안된 방법이 최신 기준 추출 요약 기법들과 비교해 어떻게 성과를 내는가?
• RQ4 이 방법이 인간이 작성한 요약과 구분하기 어려울 정도로 높은 수준의 인간다움을 구현할 수 있는가?
• RQ5 ROUGE 점수 유지를 또는 향상시키면서도 긴 문장에 대한 편향을 줄일 수 있는가?

주요 결과

• 정규화 후 DUC 2002 데이터셋에서 제안된 방법은 TextRank 대비 ROUGE-1 F-점수는 7.93% 높고, ROUGE-1 재현율은 17.12% 높게 기록했다.
• 이 방법은 전통적인 방법인 TextRank와 LexRank뿐 아니라 McDonald(2007) 및 Gillick와 Favre(2009)와 같은 최근의 접근 방식들보다도 ROUGE 지표에서 뛰어난 성능을 보였다.
• 인간 평가자들은 제안된 방법의 요약을 기존 기준 방법보다 더 정보량이 많고 일관성 있는 것으로 평가했으며, 인간이 작성한 것으로 오인될 가능성이 더 높았다.
• 필터링 메커니즘이 맥락적으로 중요한 관계를 유지함으로써, 특히 짧은 요약에서 관련 콘텐츠의 커버리지가 뛰어나게 했다.
• ROUGE 점수와 인간 평가 양측 모두에서 주제 관련 콘텐츠를 잘 포괄하면서도 중복을 줄이는 데 뚜렷한 향상이 있었으며, 이는 주제 관련 콘텐츠의 포괄성 향상과 중복 감소를 뒷받침한다.
• 저자들은 문장 길이 정규화가 정밀도를 추가로 향상시킬 수 있음을 확인했으며, 향후 최적화를 위한 유망한 방향성을 제시한다.