[논문 리뷰] Controlling Decoding for More Abstractive Summaries with Copy-Based Networks

Noah Weber, Leena Shekhar외 2명|arXiv (Cornell University)|2018. 03. 19.

Topic Modeling참고 문헌 15인용 수 12

한 줄 요약

이 논문은 재학습이 필요 없는 단순한 디코딩 방법을 제안하여 포인터-ジェ너레이터 네트워크에서 추상적 요약의 개재성을 제어한다. 이는 복사에 유리한 낮은 혼합 계수를 보상함으로써 이루어지며, 입력과의 n-gram 겹침을 최대 24.79%p 감소시킨다 (25-grams 기준 28.72%에서 3.93%로 감소), 동시에 원본 모델과 ROUGE 점수의 차이가 2점 이내를 유지하여 재학습 없이도 더 추상적인 요약을 효과적으로 유도한다.

ABSTRACT

Attention-based neural abstractive summarization systems equipped with copy mechanisms have shown promising results. Despite this success, it has been noticed that such a system generates a summary by mostly, if not entirely, copying over phrases, sentences, and sometimes multiple consecutive sentences from an input paragraph, effectively performing extractive summarization. In this paper, we verify this behavior using the latest neural abstractive summarization system - a pointer-generator network. We propose a simple baseline method that allows us to control the amount of copying without retraining. Experiments indicate that the method provides a strong baseline for abstractive systems looking to obtain high ROUGE scores while minimizing overlap with the source article, substantially reducing the n-gram overlap with the original article while keeping within 2 points of the original model's ROUGE score.

연구 동기 및 목표

• 최첨단 포인터-제너레이터 네트워크가 추상적 요약을 위해 설계되어 있음에도 불구하고, 왜 종종 추출적 요약처럼 보이는지 탐구하기 위해.
• 디코딩 과정에서의 과도한 복사 문제를 해결하여 추상적 요약의 목표를 뒤엎는 원인을 제거하기 위해.
• 모델 재학습 없이 추론 도중 추상성 수준을 제어할 수 있는 방법을 개발하기 위해.
• 복사 감소가 자동 평가 점수(ROUGE 및 METEOR)를 유지하면서 요약의 새로운 내용을 향상시키는지 평가하기 위해.

제안 방법

• 디코딩 중 각 가설의 평균 혼합 계수(mixture coefficient)가 사전에 정의된 목표값에서 벗어나지 않도록 하는 페널티 항을 비트 스코어에 도입함으로써 비트 서치를 수정한다.
• 각 가설의 디코딩 도중 혼합 계수 $ m_t $ 를 추적하며, 이는 신규 단어 생성과 입력에서의 복사 간 균형을 제어한다.
• 더 많은 생성과 더 적은 복사를 유도하기 위해 목표 혼합 계수 $ m^* $ 를 설정한다 (예: 0.4); 이 목표값에서의 이격은 비트 스코어에서 페널티를 받는다.
• 페널티 항은 하이퍼파ram터 $ \eta $ 를 통해 스케일링되어 추론 도중 추상성 수준을 세밀하게 조정할 수 있다.
• 이 방법은 추론 시점에만 작동하며, 모델 재학습이나 아키텍처 변경이 필요 없다.
• ROUGE, METEOR, n-gram 겹침 지표를 사용하여 CNN/DailyMail 데이터셋에서 방법의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 추상적 요약을 위한 포인터-제너레이터 네트워크가 추론 도중 입력에서 복사에 얼마나 의존하는가?
• RQ2 모델 재학습 없이도 디코딩 도중 요약의 추상성 수준을 제어할 수 있는가?
• RQ3 입력과의 n-gram 겹침을 줄이면 요약의 추상적 성격이 향상되며, 동시에 자동 평가 점수를 유지하는가?
• RQ4 제안된 디코딩 방법은 다수의 입력 문장에서 정보를 압축하는 데 모델의 능력에 어떤 영향을 미치는가?

주요 결과

• 포인터-제너레이터 모델은 커버리지 페널티를 사용할 경우 특히 높은 n-gram 겹침을 보이며, 25-grams 중 28.72%가 입력과 일치한다.
• 제안된 복사 제어 디코딩은 커버리지 페널티를 사용할 경우 25-gram 겹침을 28.72%에서 3.93%로 감소시켜 24.79%p 감소시켰다.
• ROUGE-L 점수는 원본 모델과 2점 이내로 유지된다 (27.63 vs. 28.86), METEOR 점수는 거의 동일하여 품질 저하가 거의 없음을 확인했다.
• 이 방법은 더 추상적인 요약을 가능하게 한다: 예시에서는 입력에 존재하지 않는 새로운 단어들인 "orders" 및 "says"의 생성과 다수 문장을 하나의 문장으로 압축하는 것을 확인할 수 있다.
• 히트맵 분석은 제어된 디코딩이 더 높은 혼합 계수를 선호함을 확인하며, 뚜렷한 복사 시퀀스를 방해하고 주의 분포를 입력 세그먼트 간 이동시키는 데 기여한다.
• 커버리지 페널티가 복사를 증가시키는 경향이 있음에도 불구하고 이 방법은 여전히 효과적이며, 이는 강건성과 실용적 유용성을 입증한다.