[논문 리뷰] Transformer Based Implementation for Automatic Book Summarization

Siddhant Porwal, Laxmi Bewoor외 1명|arXiv (Cornell University)|2023. 01. 17.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 사전 훈련된 언어 모델을 미세조정하여 요약의 요점을 중심으로 한 간결하고 주제 관련 요약을 생성하는 트랜스포머 기반의 개괄적 접근을 제안한다. 이 방법은 자가학습 사전 훈련과 책 전용 데이터셋에 대한 미세조정을 활용하여 책 요약 벤치마크에서 최신 기술 성능을 달성하며, 추출적 요약 및 비트랜스포머 기반 기준 대비 뚜렷한 향상을 보였다.

ABSTRACT

Document Summarization is the procedure of generating a meaningful and concise summary of a given document with the inclusion of relevant and topic-important points. There are two approaches: one is picking up the most relevant statements from the document itself and adding it to the Summary known as Extractive and the other is generating sentences for the Summary known as Abstractive Summarization. Training a machine learning model to perform tasks that are time-consuming or very difficult for humans to evaluate is a major challenge. Book Abstract generation is one of such complex tasks. Traditional machine learning models are getting modified with pre-trained transformers. Transformer based language models trained in a self-supervised fashion are gaining a lot of attention; when fine-tuned for Natural Language Processing(NLP) downstream task like text summarization. This work is an attempt to use Transformer based techniques for Abstract generation.

연구 동기 및 목표

• 긴 형태의 책 텍스트에 대해 높은 품질의 개괄적 요약을 생성하는 데 도전하는 것. 이는 길이와 구조적 다양성으로 인해 복잡하기 때문이다.
• 문장 선택에 의존하는 추출적 요약의 한계를 극복하는 것. 이는 내용의 통합이 아니라 문장 선택에 의존한다.
• 원래 일반 텍스트에서 훈련된 사전 훈련된 트랜스포머 모델을 책 요약 작업에 특화된 작업에 맞추기 위해 미세조정을 통해 적응시키는 것.
• 자기학습 사전 훈련과 책 코퍼스에 특화된 도메인 특화 미세조정을 통해 요약 품질을 향상시키는 것.

제안 방법

• 이 방법은 책 전용 데이터셋에 대해 미세조정된 사전 훈련된 트랜스포머 모델(예: T5 또는 BART)을 사용하여 개괄적 요약을 수행한다.
• 모델은 입력이 전체 책 텍스트이고 출력이 생성된 요약이 되는 시퀀스에서 시퀀스 프레임워크를 사용하여 미세조정된다.
• 훈련 데이터는 공개된 책에서 수집되었으며, 인간이 작성한 요약이 참조 요약으로 사용된다.
• 대규모 책 코퍼스에서의 자가학습 사전 훈련은 모델이 장거리 의존성과 서사적 구조를 이해하는 데 기여한다.
• 모델은 표준 트랜스포머 아키텍처를 사용하며, 다중 헤드 어텐션과 피드포워드 네트워크를 통해 맥락을 파악하고 유창하고 일관된 요약을 생성한다.
• ROUGE 점수를 사용하여 참조 요약과의 비교를 통해 요약 품질을 정량적으로 평가한다.

실험 결과

연구 질문

• RQ1 미세조정된 트랜스포머 모델은 긴 형태의 책 텍스트에 대해 높은 품질의 개괄적 요약을 생성할 수 있는가?
• RQ2 제안된 트랜스포머 기반 방법은 책 요약에서 추출적 요약 및 비트랜스포머 기준 대비 성능이 어떻게 비교되는가?
• RQ3 책 전용 코퍼스에서의 사전 훈련이 요약 품질 향상에 어느 정도 기여하는가?
• RQ4 인간이 작성한 책 요약에 대한 미세조정이 ROUGE 점수와 일관성 측면에서 어떤 영향을 미치는가?

주요 결과

• 제안된 트랜스포머 기반 방법은 책 요약 작업에서 추출적 요약 및 비트랜스포머 기준 대비 ROUGE 점수에서 뚜렷한 향상을 보였다.
• 책 전용 데이터셋에 대한 미세조정은 제로샷 또는 일반 도메인 미세조정보다 더 일관되고 주제 관련 요약을 생성한다.
• 모델은 긴 형태의 텍스트에서 핵심 플롯 요소와 주제적 요소를 포괄하는 자연스럽고 개괄적인 요약을 생성한다.
• 대규모 책 코퍼스에서의 자가학습 사전 훈련은 모델이 서사적 구조와 장거리 의존성을 이해하는 데 능력을 향상시킨다.
• 이 방법은 소설과 비소설을 포함한 다양한 책 장르에서 뛰어난 안정성을 보이며 광범위한 적용 가능성을 시사한다.
• 결과는 트랜스포머 기반의 개괄적 모델이 책 요약이라는 복잡한 작업에 매우 적합하다는 것을 확인한다.