[논문 리뷰] Abstractive Summarization Using Attentive Neural Techniques

Jacob Krantz, Jugal Kalita|arXiv (Cornell University)|2018. 10. 20.

Topic Modeling참고 문헌 20인용 수 11

한 줄 요약

이 논문은 순환 구조나 컨볼루션을 사용하지 않고 상대적 도트곱 자기주도 어텐션을 사용하는 트랜스포머 기반의 개괄적 요약 모델을 제안한다. 이 모델은 문장 수준의 요약 성능을 향상시키며, 최신의 ROUGE-L 및 ROUGE-2 점수를 기록하여 이전의 방법들을 능가한다. 또한 ROUGE와 같은 자동 평가 지표가 개괄적 요약에 대해 부적절하다는 점을 입증하고, 새로운 개괄적 평가 방법(VERT)을 제안한다.

ABSTRACT

In a world of proliferating data, the ability to rapidly summarize text is growing in importance. Automatic summarization of text can be thought of as a sequence to sequence problem. Another area of natural language processing that solves a sequence to sequence problem is machine translation, which is rapidly evolving due to the development of attention-based encoder-decoder networks. This work applies these modern techniques to abstractive summarization. We perform analysis on various attention mechanisms for summarization with the goal of developing an approach and architecture aimed at improving the state of the art. In particular, we modify and optimize a translation model with self-attention for generating abstractive sentence summaries. The effectiveness of this base model along with attention variants is compared and analyzed in the context of standardized evaluation sets and test metrics. However, we show that these metrics are limited in their ability to effectively score abstractive summaries, and propose a new approach based on the intuition that an abstractive model requires an abstractive evaluation.

연구 동기 및 목표

• 기계 번역에서 현대적인 어텐션 메커니즘의 응용을 통해 순차적 텍스트 생성 프레임워크에서 개괄적 문장 요약의 성능을 향상시키는 것.
• 상대적 도트곱, 국소적, 확장형, 마스킹 어텐션과 같은 다양한 자기주도 어텐션 변종이 개괄적 요약에서 어떻게 성능을 내는지 평가하는 것.
• ROUGE 지표가 n-그램 중심이기 때문에 개괄적 요약 평가에 부적합하다는 점을 입증하고, 이를 대체할 수 있는 새로운 개괄적 평가 방법(VERT)을 제안하는 것.
• 순환 구조나 컨볼루션 없이 완전히 어텐션 기반의 모델을 훈련시켜 학습 비용을 줄이면서도 높은 품질의 개괄적 요약을 유지하는 것.
• 질적 평가 및 인간 평가 지표를 통해 생성된 요약의 언어적 품질과 통일성에 대한 분석을 수행하는 것.

제안 방법

• 인코더-디코더 프레임워크에서 순환 구조와 컨볼루션을 대체하기 위해 다중 헤드 자기주도 어텐션 메커니즘을 적용한 트랜스포머 아키텍처를 적응한다.
• 장거리 의존성 모델링과 입력 및 출력 시퀀스 간의 맥락 유지 향상을 위해 상대적 도트곱 자기주도 어텐션을 사용한다.
• 고정 길이 요약 제약 조건을 적용하여 모델이 핵심 정보를 우선시하고 재구성(파araphrasing)을 수행하도록 유도한다.
• 학습 안정성을 높이기 위해 배치 정규화와 잔차 연결을 적용하며, 배치 크기는 8192 토큰(메모리가 집약적인 변종의 경우 더 낮음)으로 설정한다.
• 이미 주목한 단어에 대한 반복 어텐션을 제한하기 위해 커버리지 벡터를 도입하여 생성된 요약의 중복을 줄인다.
• 의미적 유사성과 구조적 통일성에 기반한 VERT(개괄적 평가 지표)를 제안하며, n-그램 기반 ROUGE와 대비된다.

실험 결과

연구 질문

• RQ1 상대적 도트곱, 국소적, 확장형, 마스킹 어텐션과 같은 다양한 자기주도 어텐션 메커니즘은 개괄적 문장 요약에서 어떻게 성능을 내는가?
• RQ2 순환 구조나 어텐션 전용 모델(예: LSTMs나 컨볼루션 없이)이 기존 최고 수준의 개괄적 요약 모델을 능가할 수 있는가?
• RQ3 표준 ROUGE 지표는 개괄적 요약의 품질, 특히 의미적 통일성과 재구성 능력 측면에서 얼마나 정확하게 반영하는가?
• RQ4 모델이 장거리 의존성 모델링을 얼마나 잘 수행하는지가 요약 품질과 정보량에 어떤 영향을 미치는가?
• RQ5 n-그램 기반 지표인 ROUGE와 비교해 볼 때, 개괄적 평가 지표(VERT)가 개괄적 요약의 품질을 더 잘 포착할 수 있는가?

주요 결과

• 상대적 도트곱 자기주도 어텐션 모델(S-ATT-REL)은 모든 테스트된 모델 중에서 가장 높은 ROUGE-L 및 ROUGE-2 점수를 기록했으며, 베이스라인 모델과 대부분의 이전 연구를 능가했다.
• S-ATT-REL은 DUC2003 데이터셋에서 추출 기반으로 튜닝된 ABS+ 모델보다 ROUGE-L과 ROUGE-2에서 높은 점수를 기록했지만, ROUGE-1 점수는 약간 낮았다.
• 모델는 높은 언어적 품질을 보였다: 문법성(4.48), 중복 회피(4.95), 참조 명확성(4.7), 구조/통일성(4.53) 등 모두 '좋음'에서 '매우 좋음' 수준으로 평가되었다.
• 모델는 강력한 개괄적 능력을 보였으며, 예를 들어 하리리가黎巴嫩의 총리임을 정확히 식별하고, 'bowing out'이라는 표현으로부터 직접적으로 언급되지 않은 상태에서도 사임을 유추하는 등.
• 어떤 경우에 어텐션 헤드가 잘못된 집중을 보이기도 했는데, 이는 S3 예시에서 'not'을 잘못 주목하는 등 어텐션 정밀도에 한계가 있음을 시사한다.
• VERT 지표는 ROUGE보다 S-ATT-REL 모델에서 더 높은 점수를 기록했으며, 특히 의미적 유사성 하위 점수에서 두드러졌다. 이는 개괄적 요약에 대해 개괄적 평가가 더 적합하다는 것을 시사한다.