[논문 리뷰] BIGPATENT: A Large-Scale Dataset for Abstractive and Coherent Summarization

Eva Sharma, Chen Li외 1명|arXiv (Cornell University)|2019. 06. 10.

Topic Modeling참고 문헌 31인용 수 20

한 줄 요약

이 논문은 기존 뉴스 기반 요약 데이터셋의 한계를 보완하기 위해 인간이 작성한 摘要가 포함된 130만 건의 미국 특허 문서로 구성된 대규모 데이터셋인 BigPatent을 소개한다. 기존 뉴스 기반 요약은 평탄한 논리적 구조, 균일하지 않은 주요 내용 분포, 높은 추출형 조각 비중을 보이지만, BigPatent는 더 일관된 논리적 흐름, 균일하게 분포된 주요 내용, 그리고 적은 추출형 조각을 특징으로 하여, 전반적인 내용 이해와 논리적 기획 능력을 향상시킬 수 있는 개선된 개괄적 요약 연구를 가능하게 한다.

ABSTRACT

Most existing text summarization datasets are compiled from the news domain, where summaries have a flattened discourse structure. In such datasets, summary-worthy content often appears in the beginning of input articles. Moreover, large segments from input articles are present verbatim in their respective summaries. These issues impede the learning and evaluation of systems that can understand an article's global content structure as well as produce abstractive summaries with high compression ratio. In this work, we present a novel dataset, BIGPATENT, consisting of 1.3 million records of U.S. patent documents along with human written abstractive summaries. Compared to existing summarization datasets, BIGPATENT has the following properties: i) summaries contain a richer discourse structure with more recurring entities, ii) salient content is evenly distributed in the input, and iii) lesser and shorter extractive fragments are present in the summaries. Finally, we train and evaluate baselines and popular learning models on BIGPATENT to shed light on new challenges and motivate future directions for summarization research.

연구 동기 및 목표

• 기존 텍스트 요약 데이터셋의 한계를 해결하기 위해, 주로 뉴스 기반이며 논리적 구조가 평탄하고, 주요 내용 분포가 비균일하며, 추출형 내용 비중이 높은 경향이 있는 점을 다루기 위함.
• 더 강력한 전반적 내용 모델링과 논리적 인식 능력을 갖춘 개괄적 요약 모델의 훈련 및 평가를 지원하는 대규모 고품질 데이터셋을 개발하기 위함.
• 추출형 조각에 대한 의존도를 줄이고 논리적 일관성을 향상시켜 더 일관되고 개괄적인 요약을 생성할 수 있는 시스템을 구축하기 위한 향후 연구를 이끌기 위함.
• 기존 모델들을 BigPatent에서 평가하여 현재 신경망 기반 개괄적 요약 모델의 한계를 드러내기 위함이며, 특히 논리적 구조 처리 능력과 환영 또는 반복 문제에 대한 대처 능력에서의 결함을 확인하기 위함.

제안 방법

• 미국 특허청(USPTO) 데이터베이스에서 130만 건의 미국 특허 문서와 인간이 작성한 개괄적 요약을 정제하여 확보함.
• 입력 문서의 주요 내용이 초기 섹션에 집중되지 않도록 하기 위해, 주요 내용이 균일하게 분포되도록 데이터셋을 설계함.
• 문장 그대로 복사하는 것을 방지하고 내용을 재구성하고 통합하도록 유도함으로써 추출형 조각의 비중을 최소화함.
• 논리적 인식(annotation)을 적용하여 요약에서 반복되는 실체와 복잡한 문장 수준의 구조를 강조함.
• BigPatent에서 여러 추출형 및 개괄적 모델(예: Lead-3, TextRank, Seq2Seq, Pointer-Generator, SentRewriting)을 훈련 및 평가하고, CNN/DM 및 NYT에서의 벤치마크와 성능을 비교함.
• ROUGE 점수와 새로운 n-gram/실체 빈도 분석을 활용하여 개괄적 요약 품질을 평가하고, 환영 또는 반복 여부를 탐지함.

실험 결과

연구 질문

• RQ1 기존의 개괄적 요약 모델들은 BigPatent와 같이 대규모이고 논리적 구조가 풍부하며 뉴스 기반 외의 데이터셋에서 표준 뉴스 벤치마크와 비교해 어떻게 성능을 내는가?
• RQ2 현재 모델들은 복잡한 기술 문서의 요약에서 추출형 조각을 어느 정도 줄이고 논리적 일관성을 유지하는가?
• RQ3 생성된 요약에서 실체 반복 패턴은 인간 기준 요약과 비교해 어떻게 다른가? 이는 모델이 논리적 흐름과 주요 내용에 대한 이해도를 어떻게 반영하는가에 대한 통찰을 제공하는가?
• RQ4 균일하게 분포된 주요 내용과 복잡한 기술적 구조를 가진 문서에서 개괄적 요약을 생성하는 데 있어 주요 과제는 무엇인가?
• RQ5 SentRewriting과 같은 강화학습 기반 모델은 BigPatent에서 표준 seq2seq 모델보다 성능이 뛰어나며, 이는 개괄적 요약의 최적화 목표에 대해 어떤 함의를 갖는가?

주요 결과

• 모든 모델이 BigPatent에서 CNN/DM 및 NYT보다 낮은 ROUGE 점수를 기록하여, BigPatent가 요약 모델에 대해 더 도전적인 벤치마크임을 시사함.
• TextRank 및 LexRank와 같은 추출형 모델이 BigPatent에서 RNN-ext RL보다 높은 성능을 보였으며, 국소적 특징에 의존하는 모델이 더 긴 복잡한 입력에서 어려움을 겪는다는 점을 시사함.
• 가장 높은 ROUGE 점수를 기록한 모델인 SentRewriting는 ROUGE 기반 보상에 기반한 강화학습의 이점을 입증함.
• 신경망 기반 개괄적 요약 모델, 특히 Seq2Seq와 PointGen은 인간 기준 요약보다 실체 반복 비율이 현저히 높았음(예: 22.6%의 실체가 3번 이상 반복됨 vs. 인간 요약의 4.0% 이상 반복), 이는 논리적 수준의 기획 능력이 떨어짐을 시사함.
• 일부 새로운 n-gram 비율(예: 18.6%의 unigram)은 인간 요약과 유사했지만, Seq2Seq와 PointGen은 "상부 부분은 발바닥 부분의 상부를 수용하도록 구성되어 있다"와 같은 허구적 또는 중복된 내용을 생성함으로써 환영 문제를 드러냄.
• PointGen + cov의 커버리지 메커니즘은 실체 반복 비율(3번 이상 반복: 1.2%)을 인간 기준 수준(4.0%)에 가깝게 낮추었으며, 이는 명시적 정규화가 반복 문제를 완화하는 데 도움이 되지만, 여전히 의미적 이해 격차를 완전히 보완하지 못함을 보여줌.