[논문 리뷰] Global Encoding for Abstractive Summarization

Junyang Lin, Xu Sun외 2명|arXiv (Cornell University)|2018. 05. 10.

Topic Modeling참고 문헌 21인용 수 23

한 줄 요약

이 논문은 전역적 맥락을 활용해 인코더 표현을 개선함으로써 요약의 반복을 줄이고 의미적 관련성을 향상시키기 위해 컨volutional 게이팅 유닛(CGU)을 사용하는 글로벌 인코딩 프레임워크를 제안한다. LCSTS 및 Gigaword에서 평가한 결과, 각각 ROUGE-2 F1 점수 26.8과 17.8을 기록하여 기준 순서-순서 모델보다 반복을 크게 감소시켰다.

ABSTRACT

In neural abstractive summarization, the conventional sequence-to-sequence (seq2seq) model often suffers from repetition and semantic irrelevance. To tackle the problem, we propose a global encoding framework, which controls the information flow from the encoder to the decoder based on the global information of the source context. It consists of a convolutional gated unit to perform global encoding to improve the representations of the source-side information. Evaluations on the LCSTS and the English Gigaword both demonstrate that our model outperforms the baseline models, and the analysis shows that our model is capable of reducing repetition.

연구 동기 및 목표

• 추상적 요약을 위한 어텐션 기반 순서-순서 모델에서의 반복과 의미적 부적합성 문제를 해결하기 위해.
• 전역적 맥락을 활용해 소스 측 표현을 개선함으로써 생성된 요약의 품질을 향상시키기 위해.
• 전역 인코딩을 통해 보조 정보를 걸러내어 잡음이나 중복된 어텐션 정렬에 대한 의존도를 줄이기 위해.
• 입력 길이의 변동에 더 강건하고 요약의 의미적 일관성을 향상시키기 위해.

제안 방법

• 이중 방향 LSTM 인코더 출력 위에 컨볼루션 게이팅 유닛(CGU)을 적용하여 전역 인코딩을 수행한다.
• CGU는 파rameter 공유를 통한 1차원 컨볼루션을 사용하여 n-gram 특징을 추출하고 소스 텍스트 내 국소적 상관관계를 포착한다.
• 자기 어텐션(self-attention)을 CGU에 통합하여 인코더 표현 간 장거리 의존성과 전역적 관계를 모델링한다.
• 개선된 인코더 표현을 사용해 어텐션 점수를 계산함으로써 생성된 요약의 관련성과 다양성을 향상시킨다.
• 인코더 출력에 대한 소프트 어텐션 메커니즘을 사용해 교차 엔트로피 손실을 기반으로 엔드 투 엔드로 모델을 훈련시킨다.
• CGU의 게이팅 메커니즘은 중요한 정보를 선택적으로 유지하면서 잡음과 중복된 특징을 억제한다.

실험 결과

연구 질문

• RQ1 전역 인코딩을 통해 소스 표현을 개선함으로써 추상적 요약의 품질과 일관성을 향상시킬 수 있는가?
• RQ2 제안된 CGU 메커니즘이 표준 seq2seq 모델 대비 생성된 요약의 반복을 줄이는가?
• RQ3 모델은 벤치마크 요약 데이터셋에서 ROUGE 점수를 어느 정도 향상시키는가?
• RQ4 모델은 다양한 입력 길이와 텍스트 복잡도에서 어떻게 성능을 발휘하는가?

주요 결과

• LCSTS 데이터셋에서 모델은 ROUGE-2 F1 점수 26.8을 기록하여 기준 모델을 능가했다.
• 영어 Gigaword 데이터셋에서 모델은 ROUGE-2 F1 점수 17.8을 기록하여 대규모 요약에서 뛰어난 성능을 보였다.
• 모델은 반복을 크게 줄였으며, 1-에서 4-그램까지의 중복 비율이 기준 seq2seq 모델보다 참조 문장에 더 가까웠다.
• 생성된 요약은 더 의미적으로 관련성 있고 일관성 있으며, 국가명 같은 반복적인 세부 정보가 아닌 핵심 아이디어인 가격 차이 등에 집중했다.
• 표준 seq2seq 모델 대비 CGU 기반 모델은 입력 길이의 변동에 더 강건했다.
• 정성적 분석을 통해 모델이 원본 텍스트의 핵심 아이디어를 더 잘 포착하는 것으로 확인되었으며, 예를 들어 중국에서 스타벅스의 75% 가격 프리미엄을 정확히 반영했다.