[논문 리뷰] Point-less: More Abstractive Summarization with Pointer-Generator Networks

Freek Boutkan, Jorn Ranzijn외 2명|arXiv (Cornell University)|2019. 04. 18.

Topic Modeling참고 문헌 23인용 수 7

한 줄 요약

이 논문은 ROUGE 점수를 유지하면서 추상적 요약의 수준을 높이기 위해 Pointer-Generator 네트워크에 수정을 제안한다. 다중헤드 어텐션, 포인터 드롭아웃, 그리고 두 가지 새로운 손실 함수인 단어 사전 손실(Word Prior Loss)과 포인터 정규화(Pointer Regularization)를 도입하여, 새로운 문장 수를 12.5% 증가시키고 N-gram의 신선도를 크게 향상시켰지만, ROUGE 점수는 약간 하락하는 대가를 치르었다.

ABSTRACT

The Pointer-Generator architecture has shown to be a big improvement for abstractive summarization seq2seq models. However, the summaries produced by this model are largely extractive as over 30% of the generated sentences are copied from the source text. This work proposes a multihead attention mechanism, pointer dropout, and two new loss functions to promote more abstractive summaries while maintaining similar ROUGE scores. Both the multihead attention and dropout do not improve N-gram novelty, however, the dropout acts as a regularizer which improves the ROUGE score. The new loss function achieves significantly higher novel N-grams and sentences, at the cost of a slightly lower ROUGE score.

연구 동기 및 목표

• Pointer-Generator 모델에서 추출적 복사에 대한 과도한 의존성 문제를 해결하여 추상적 요약 품질을 향상시키기 위해.
• 유창성과 사실 일관성 손실 없이 새로운 재구성된 내용 생성 능력을 향상시키기 위해.
• ROUGE 점수를 경쟁적으로 유지하면서 생성 요약의 새로운 N-그램과 문장 수를 늘리기 위해.
• ROUGE 평가 지표가 추상적 요약에 대해 가지는 한계를 탐구하고, 대체 평가 지표를 제안하기 위해.
• 학습 시점의 간섭 조치, 예를 들어 스케줄링된 티처포싱과 정규화를 통해 학습-추론 분포 간 격차를 줄이기 위해.

제안 방법

• 포인터 및 생성 과정에 대해 다양한 어텐션 패턴을 학습하기 위해 소스 텍스트에 다중헤드 어텐션을 도입하기 위해.
• 포인터 메커니즘에 드롭아웃을 적용하여 사용을 정규화하고 소스에서의 복사 의존도를 줄이기 위해.
• 소스에 존재하지 않는 단어의 생성을 장려하여 추상성 향상을 유도하기 위해 단어 사전 손실(Word Prior Loss)을 설계하기 위해.
• 희귀 또는 저빈도 단어의 과도한 복사를 방지하기 위해 단어 빈도 사전 지식을 기반으로 한 포인터 정규화 손실을 구현하기 위해.
• 이러한 기법들을 기존 Pointer-Generator 프레임워크와 통합하여 엔드 투 엔드로 학습 가능한 모델로 구성하기 위해.
• 학습 중에 실제 타겟 지도를 점차 줄이는 스케줄링된 티처포싱을 사용하여 학습과 추론의 행동을 일치시키기 위해.

실험 결과

연구 질문

• RQ1 소스 텍스트에 대한 다중헤드 어텐션은 ROUGE 점수를 떨어뜨리지 않으면서도 Pointer-Generator 모델의 추상성 향상에 기여할 수 있는가?
• RQ2 포인터 메커니즘에 드롭아웃을 적용하면 복사 의존도가 감소하고 새로운 N-그램 생성이 증가하는가?
• RQ3 새로운 손실 함수인 단어 사전 손실과 포인터 정규화 손실은 ROUGE 점수 유지 조건 하에 새로운 문장과 N-그램 수를 크게 증가시킬 수 있는가?
• RQ4 제안된 방법들이 순차적-순차적 모델에서 학습과 추론 간 행동 격차를 어느 정도 완화하는가?
• RQ5 새로운 손실 함수가 기존 구성 요소인 커버리지 메커니즘과 어떻게 상호작용하는가? 그리고 과다 생성 문제를 악화시키는가?

주요 결과

• 단어 사전 손실은 기준 모델 대비 새로운 문장 수를 12.5% 증가시켰다.
• 포인터 정규화 손실은 새로운 N-그램 생성을 크게 향상시켰지만, 약간의 ROUGE 점수 하락을 초래했다.
• 포인터 드롭아웃은 포인터 메커니즘에 대한 과도한 의존도를 감소시켜 ROUGE 점수를 향상시키고, 예상과는 달리 낙관적인 수준의 신선도 향상을 이뤘다.
• 다중헤드 어텐션은 ROUGE 점수나 새로운 표현의 수에 영향을 주지 않아, 이 특정 아키텍처에 대해 유의미한 이점이 없음을 시사했다.
• VERT 지표는 ROUGE와 완전한 상관관계를 보였고, 의미적 품질이나 추상성에 대한 새로운 통찰을 제공하지 못했다.
• 새로운 N-그램 수가 증가했음에도 불구하고 요약 길이는 안정을 유지하여, 새로운 단어들이 기존 내용에 대체되었음을 시사했으며, 이는 확장이 아닌 재구성의 증거로 볼 수 있다.