[논문 리뷰] A comprehensive review of automatic text summarization techniques: method, data, evaluation and coding

Daniel O. Cajueiro, Arthur Gomes Nery외 5명|arXiv (Cornell University)|2023. 01. 04.

Topic Modeling인용 수 6

한 줄 요약

이 종합적 리뷰는 자동 텍스트 요약(ATS) 기법을 기반 메커니즘별로 분류하고, 데이터셋과 평가 지표를 평가하며, CNN/Daily Mail 코퍼스를 사용한 실증적 벤치마크를 제공함으로써 자동 텍스트 요약 기법을 종합적으로 종합한다. 추출형 요약과 생성형 요약에 대한 체계적이고 인용 기반의 분석을 제공하며, 일관성, 완전성, 평가의 과제를 부각시키고, 개방소스 도구와 구현 파이프라인을 통해 실무자들을 안내한다.

ABSTRACT

We provide a literature review about Automatic Text Summarization (ATS) systems. We consider a citation-based approach. We start with some popular and well-known papers that we have in hand about each topic we want to cover and we have tracked the "backward citations" (papers that are cited by the set of papers we knew beforehand) and the "forward citations" (newer papers that cite the set of papers we knew beforehand). In order to organize the different methods, we present the diverse approaches to ATS guided by the mechanisms they use to generate a summary. Besides presenting the methods, we also present an extensive review of the datasets available for summarization tasks and the methods used to evaluate the quality of the summaries. Finally, we present an empirical exploration of these methods using the CNN Corpus dataset that provides golden summaries for extractive and abstractive methods.

연구 동기 및 목표

• 자연어 요약 기술에 대한 체계적이고 인용 기반의 문헌 리뷰를 제공하여 방법론의 다양성과 연구 분열 문제를 해결한다.
• 빈도 기반, 그래프 기반, 신경망, 강화 학습, 순서-순서 모델 등의 핵심 메커니즘에 따라 ATS 방법을 분류하여 통합된 분류 체계를 제공한다.
• 기존 데이터셋의 강점과 한계를 평가하며, 특히 추출형 대비 생성형 요약과 도메인 특이성과의 관계를 고려한다.
• 평가 방법론을 분석하여, 황금 표준 요약이 없는 점과 인간 요약과 기계 요약 간 비교의 과제를 강조한다.
• 이론과 실천을 연결하기 위해 실증적 연습을 수행하고, 요약 모델을 구현하고 비교하는 데 사용할 수 있는 개방소스 라이브러리를 검토한다.

제안 방법

• 이 리뷰는 인용 기반 접근을 사용한다: 초기의 영향력 있는 논문들에서 출발하여 이전 인용(선구자 논문)과 이후 인용(후속 연구)을 추적함으로써 ATS 기법의 발전 과정을 맵핑한다.
• 메커니즘 기반으로 방법을 분류한다: 빈도 기반, 행렬 분해, 그래프 기반, 토픽 모델링, 단어 임베딩, 히우리스틱 규칙, 언어학적 규칙, 지도 학습 기반 머신러닝, 강화 학습을 활용한 추출형 요약.
• 생성형 요약은 언어학적 규칙 기반 접근과 딥러닝 기반 순서-순서 모델로 분류되며, 주의 메커니즘과 트랜스포머 아키텍처에 특별한 중점을 둔다.
• 데이터셋은 도메인(예: 뉴스, 과학 논문), 크기, 주석 방식에 따라 검토되며, 인간이 주석 처리한 황금 요약의 가용성에 특별한 주의를 기울인다.
• 평가 방법은 ROUGE, BLEU, 인간 평가를 통해 분석되며, 자동 평가 지표의 한계와 평가자 간 이질성 문제에 대한 비판적 논의가 수반된다.
• 실증적 연습은 CNN/Daily Mail 데이터셋을 사용하여 수행되며, Hugging Face, HuggingFace Transformers 등의 개방소스 라이브러리를 활용해 추출형 및 생성형 모델을 훈련하고 비교한다.

실험 결과

연구 질문

• RQ1 연구 분열 문제를 해결하기 위해 자동 텍스트 요약 기법에 대한 포괄적이고 인용 기반의 분류 체계를 어떻게 구성할 수 있는가?
• RQ2 추출형 요약과 생성형 요약 간의 주요 방법론적 차이는 무엇이며, 요약 품질과 일관성에 어떤 영향을 미치는가?
• RQ3 기존 요약 데이터셋은 도메인, 크기, 주석 품질 측면에서 어떻게 다양하며, 강력한 모델을 훈련하는 데 어떤 한계를 지닌다?
• RQ4 요약 출력을 평가하는 데 주요 과제는 무엇이며, 왜 보편적으로 인정받는 황금 표준 평가 지표가 존재하지 않는가?
• RQ5 개방소스 라이브러리와 실증적 벤치마크를 어떻게 활용하여 요약 모델의 구현과 비교를 실무적으로 안내할 수 있는가?

주요 결과

• 추출형 요약 방법은 비연결된 대명사와 문장 분할 문제로 인해 일관성이 떨어지며, 특히 비연속 문장을 추출할 경우 더욱 심해진다.
• 생성형 모델, 특히 어텐션 기반 순서-순서 모델은 더 요약된 요약을 생성하지만 사실 일관성과 사실 왜곡 문제를 겪는다.
• 빈도 기반 모델은 단어 빈도에 의존하여 희귀어나 의미적으로 풍부한 용어가 담고 있는 중요한 정보를 놓칠 수 있다.
• 언어학적 및 규칙 기반 생성형 모델은 사전 정의된 구조와 온톨로지에 크게 의존하여 다양한 도메인 간 일반화 능력이 제한된다.
• 딥러닝 모델은 대규모 고품질 주석 데이터셋이 필요하며, 전이 학습이 자주 필요하지만, 유사성이 낮은 도메인 간에는 항상 효과적이지 않다.
• 평가가 여전히 주요 난제이다: 인간 요약은 내용과 표현 방식에서 크게 다를 수 있어, ROUGE와 같은 자동 지표는 의미적 품질을 포괄하기에 불완전하고 일관성 없게 작동한다.