[논문 리뷰] Neural Abstractive Text Summarization and Fake News Detection

Soheil Esmaeilzadeh, Gao Xian Peh외 1명|arXiv (Cornell University)|2019. 03. 24.

Topic Modeling참고 문헌 20인용 수 31

한 줄 요약

이 논문은 어휘에 없는 단어(OOV) 오류와 반복을 줄이는 데 성공한 포인터-생성기 네트워크와 주의 메커니즘 및 커버리지 기반 기법을 사용하는 신경 추상적 텍스트 요약 모델을 제안한다. 이 모델은 기준 모델 대비 성능이 뛰어나며, 요약된 텍스트를 사용할 경우 가짜 뉴스 탐지 정확도가 93%로 상승하여 원문 전체 텍스트를 사용할 때의 92%보다 높게 나타나, 요약 기법이 후행 NLP 작업에 효과적인 특징 공학 기법임을 입증한다.

ABSTRACT

In this work, we study abstractive text summarization by exploring different models such as LSTM-encoder-decoder with attention, pointer-generator networks, coverage mechanisms, and transformers. Upon extensive and careful hyperparameter tuning we compare the proposed architectures against each other for the abstractive text summarization task. Finally, as an extension of our work, we apply our text summarization model as a feature extractor for a fake news detection task where the news articles prior to classification will be summarized and the results are compared against the classification using only the original news text. keywords: LSTM, encoder-deconder, abstractive text summarization, pointer-generator, coverage mechanism, transformers, fake news detection

연구 동기 및 목표

• 시퀀스-투-시퀀스 모델에서 흔히 발생하는 OOV 단어 생성 및 반복 문제를 완화할 수 있는 강력한 추상적 텍스트 요약 모델을 개발하는 것.
• LSTM-에코더-디코더에 주의 메커니즘을 적용한 모델, 포인터-생성기 네트워크, 커버리지 기반 기법, 트랜스포머를 포함한 다양한 신경망 아키텍처의 추상적 요약 성능를 비교하는 것.
• 요약 기법이 가짜 뉴스 탐지에 효과적인 특징 추출 방법이 될 수 있는지 평가하는 것.
• 이 요약 모델이 뉴스 기사의 자동 제목 생성기로 활용될 수 있는지 조사하는 것.

제안 방법

• 기준 모델은 어텐션 메커니즘을 사용한 LSTM 에코더-디코더 아키텍처를 기반으로 하며, 정렬 점수를 바탕으로 에코더의 은닉 상태들을 가중합하여 컨텍스트 벡터를 계산한다.
• 포인터-생성기 네트워크는 복사 기반 메커니즘(포인터)과 어휘 생성 메커니즘(생성기)을 결합하여, 원본 텍스트에서 희귀어나 OOV 단어를 직접 복사할 수 있도록 한다.
• 커버리지 기반 기법은 이전에 주목한 단어들을 추적함으로써 주의 메커니즘을 동적으로 조정하며, 시간이 지남에 따라 주의 가중치를 누적하는 커버리지 벡터를 통해 반복을 줄인다.
• 이 모델은 소프트 어텐션 메커니즘을 사용하며, 정규화된 정렬 점수를 기반으로 에코더 은닉 상태들의 가중합으로 컨텍스트 벡터를 계산한다.
• 가짜 뉴스 탐지에 있어서는 성능이 가장 뛰어난 요약 모델을 사용해 뉴스 기사에서 요약문을 생성하고, 이를 양방향 LSTM 분류기(임bedding 레이어 포함)에 입력한다.
• 하이퍼파라미터 튜닝은 다양한 크기의 LSTM 및 Bi-LSTM 아키텍처와 드롭아웃 비율을 조합하여 수행되었으며, 6,335건의 뉴스 기사로 구성된 균형 잡힌 데이터셋을 5겹 교차검증으로 평가하였다.

실험 결과

연구 질문

• RQ1 커버리지 기반 포인터-생성기 네트워크가 OOV 오류와 반복 문제를 줄임으로써 기존의 시퀀스-투-시퀀스 모델보다 추상적 요약 성능에서 뛰어나게 되는가?
• RQ2 LSTM-에코더-디코더에 주의 기반 기법, 포인터-생성기, 커버리지 기반 기법, 트랜스포머 등 다양한 신경망 아키텍처의 요약 품질과 내구성은 어떻게 비교되는가?
• RQ3 모델이 생성한 요약문을 입력 특징으로 사용할 경우, 원문 텍스트나 제목을 사용할 때보다 가짜 뉴스 탐지 정확도가 향상되는가?
• RQ4 이 요약 모델이 뉴스 기사의 자동 제목 생성기로 활용될 수 있는 정도는 어느 정도인가?

주요 결과

• 커버리지 기반 포인터-생성기 모델이 추상적 요약에서 가장 높은 성능을 기록하였으며, 반복을 효과적으로 줄이고 기존 기준 모델 대비 OOV 단어 처리 능력이 뛰어나다.
• 이 요약 모델은 핵심 내용을 유지하면서 평균 요약 길이를 20.41단어로 줄였으며, 후행 작업에서 원문 전체 텍스트나 제목 입력보다 뛰어난 성능을 보였다.
• 요약된 텍스트를 사용한 가짜 뉴스 탐지 정확도는 93%를 기록하여 원문 전체 텍스트를 사용했을 때의 92%보다 높았으며, 제목만을 사용했을 때의 91%보다도 높았다.
• 128개의 유닛과 0.2의 드롭아웃 비율을 가진 Bi-LSTM 분류기가 요약 텍스트를 입력으로 사용했을 때 검증 정확도가 93.1%로 가장 높았으며, 이는 강력한 일반화 능력을 의미한다.
• 이 연구는 추상적 요약 기법이 가짜 뉴스 탐지에서 효과적인 특징 공학 기법이 될 수 있음을 확인하였다. 이는 분류 성능 향상에 기여한다.
• 또한 이 요약 모델은 뉴스 기사의 자동 제목 생성기로도 잠재력을 보이며, 기사의 핵심 내용을 잘 반영하는 간결하고 정보가 풍부한 요약문을 생성한다.