[논문 리뷰] Cutting-off Redundant Repeating Generations for Neural Abstractive Summarization

Jun Suzuki, Masaaki Nagata|arXiv (Cornell University)|2016. 12. 31.

Natural Language Processing Techniques참고 문헌 18인용 수 4

한 줄 요약

이 논문은 RNN 기반 개괄 요약에서 반복적인 생성을 억제하기 위해 인코딩 단계에서 각 대상 어휘어의 상한 빈도를 동시에 추정하는 단어 빈도 추정(WFE) 보조 모델을 제안한다. 추정된 빈도 한계를 바탕으로 출력 단어 생성을 제어함으로써, 이 방법은 반복을 크게 감소시키고 ROUGE 점수를 향상시켜 주어진 모델 아키텍처를 변경하지 않고도 벤치마크 데이터셋에서 최신 기술 성능을 달성한다.

ABSTRACT

This paper tackles the reduction of redundant repeating generation that is often observed in RNN-based encoder-decoder models. Our basic idea is to jointly estimate the upper-bound frequency of each target vocabulary in the encoder and control the output words based on the estimation in the decoder. Our method shows significant improvement over a strong RNN-based encoder-decoder baseline and achieved its best results on an abstractive summarization benchmark.

연구 동기 및 목표

• RNN 기반 인코더-디코더 모델에서 개괄 요약을 위한 반복적인 반복 생성 문제를 해결하기 위해.
• 출력 길이가 제한된 환경에서 반복이 제한된 공간을 낭비하는 개괄 요약 작업의 성능을 향상시키기 위해.
• 특정 단어나 어구의 과다 생성을 방지하기 위해 출력에서 단어 빈도를 명시적으로 관리하는 방법을 개발하기 위해.
• Gigaword 및 DUC-2004를 포함한 표준 개괄 요약 벤치마크에서 제안된 방법의 효과성을 평가하기 위해.
• 빈도 기반 제어가 자동 평가 지표뿐 아니라 인간 평가 기반 생성 품질까지 향상시킬 수 있음을 보여주기 위해.

제안 방법

• 이 방법은 각 대상 어휘어가 요약에서 나타날 수 있는 최대 횟수를 인코딩 단계에서 추정하는 단어 빈도 추정(WFE) 보조 모델을 도입한다.
• WFE 보조 모델은 지금까지 얼마나 자주 각 단어가 생성되었는지 추적하고, 향후 잠재적 사용 가능성을 예측함으로써 과다 생성을 억제한다.
• 디코딩 단계에서, 모델은 추정된 빈도 한계를 사용하여 그 한계를 초과할 가능성이 있는 출력 토큰을 페널티 처리하거나 억제한다.
• 이 방법은 전역 어텐션을 갖춘 표준 RNN 기반 인코더-디코더 아키텍처에 WFE 보조 모델을 통합함으로써 메인 아키텍처를 수정하지 않고 적용된다.
• WFE 구성 요소는 빈도 추정을 위한 학습 가능한 함수를 사용하고, 과오차를 방지하기 위해 마진 기반 제약 조건을 적용한다.
• 이 방법은 표준 포인트와이즈 로그우도 최대화 기반으로 학습되며, K개의 최상위 선택을 사용한 빔 서치 디코딩으로 평가된다.

실험 결과

연구 질문

• RQ1 각 대상 어휘어의 상한 빈도를 추정하는 보조 모델이 개괄 요약에서 반복적인 반복 생성을 줄일 수 있는가?
• RQ2 빈도 기반 제어는 자원이 제한된 또는 길이가 제약된 요약 작업에서 ROUGE 점수와 같은 자동 평가 지표를 향상시킬 수 있는가?
• RQ3 구조적 변경 없이도 복잡한 학습 기법 없이 강력한 RNN 기반 기준 모델을 초월할 수 있는가?
• RQ4 WFE 보조 모델의 빈도 추정 정확도가 열등하더라도 실질적으로 얼마나 효과적인가?
• RQ5 이 방법은 이미지 캡션 생성과 같은 다른 손실 압축 작업으로 일반화될 수 있는가?

주요 결과

• Gigaword 데이터셋에서 EncDec+WFE 모델은 ROUGE-1(F), ROUGE-2(F), ROUGE-L(F) 점수에서 강력한 기준 모델을 크게 능가했으며, 각각 33.65, 16.12, 31.37의 향상률을 기록했다.
• DUC-2004 벤치마크에서 EncDec+WFE는 이전 최고 성능을 기록한 시스템들, 특히 최소 위험 훈련(MRT)을 사용한 시스템들보다도 뛰어난 성능을 보였다.
• 정성적 분석 결과, 이 방법은 'black women black women'이나 'pinochet’s pinochet’s'와 같은 반복적인 어구나 어휘의 반복을 효과적으로 줄였다. 이는 기준 모델에서 흔히 발생한 문제였다.
• WFE 보조 모델의 빈도 추정 정확도가 중간 정도였음(혼동 행렬로 확인됨)에도 불구하고, 전체 생성 품질과 ROUGE 점수에서 상당한 향상을 이룬 것으로 나타났다.
• 정확도가 떨어지는 빈도 추정이라도 생성 제어에 활용될 경우 매우 효과적이라는 점에서, 이 방법의 강건성을 시사한다.
• 이 방법은 MRT와 같은 시퀀스 수준의 훈련 목표와도 호환되며, 향후 이러한 기법과 조합할 경우 성능 향상이 가능할 것으로 보인다.