[논문 리뷰] Closed-Book Training to Improve Summarization Encoder Memory

Yichen Jiang, Mohit Bansal|arXiv (Cornell University)|2018. 09. 12.

Topic Modeling참고 문헌 40인용 수 4

한 줄 요약

이 논문은 개방형 디코더가 없는 2-디코더 시퀀스 투 시퀀스 모델을 제안하며, 주어진 장문의 입력 텍스트에서 핵심 정보를 더 잘 기억하도록 공유된 인코더를 강제로 유도한다. 이 방법은 CNN/Daily Mail 및 DUC-2002에서 ROUGE 및 METEOR 점수를 크게 향상시키며, 사전성 테스트와 분석 실험을 통해 강화된 인코더 기억 능력을 입증한다.

ABSTRACT

A good neural sequence-to-sequence summarization model should have a strong encoder that can distill and memorize the important information from long input texts so that the decoder can generate salient summaries based on the encoder's memory. In this paper, we aim to improve the memorization capabilities of the encoder of a pointer-generator model by adding an additional 'closed-book' decoder without attention and pointer mechanisms. Such a decoder forces the encoder to be more selective in the information encoded in its memory state because the decoder can't rely on the extra information provided by the attention and possibly copy modules, and hence improves the entire model. On the CNN/Daily Mail dataset, our 2-decoder model outperforms the baseline significantly in terms of ROUGE and METEOR metrics, for both cross-entropy and reinforced setups (and on human evaluation). Moreover, our model also achieves higher scores in a test-only DUC-2002 generalizability setup. We further present a memory ability test, two saliency metrics, as well as several sanity-check ablations (based on fixed-encoder, gradient-flow cut, and model capacity) to prove that the encoder of our 2-decoder model does in fact learn stronger memory representations than the baseline encoder.

연구 동기 및 목표

• 주어진 장문의 입력 텍스트에서 핵심 정보를 효과적으로 기억할 수 있도록, 주의 메커니즘과 복사 기능이 없는 보조 디코더를 도입함으로써 시퀀스 투 시퀀스 요약 모델의 인코더 기억 능력을 향상시키는 것.
• 기존 모델이 장문의 입력 텍스트를 인코딩하는 동안 핵심 정보를 식별하고 유지하는 데에 한계를 보이는 문제를 해결하는 것.
• 주어진 인코더가 주의 메커니즘 또는 복사 기능에 의존하지 않고도 핵심 콘텐츠를 요약하도록 강제함으로써 더 강력한 기억 표현이 가능하다는 것을 입증하는 것.
• 향상된 인코더 기억 능력이 자동 평가 및 인간 평가 지표 전반에 걸쳐 더 나은 요약 성능으로 이어진다는 것을 검증하는 것.

제안 방법

• 포인터-게이터 디코더(주의 메커니즘 및 복사 기능을 갖춤)와 개방형 디코더(주의 메커니즘 및 복사 기능 없음)가 공통의 인코더를 공유하는 이중 디코더 아키텍처를 도입한다.
• 두 디코더의 개별 손실 함수의 가중 합을 최적화함으로써 양쪽 디코더를 함께 훈련시켜, 인코더가 추상적 생성과 비주의 기반 생성을 모두 지원할 수 있는 기억 상태를 생성하도록 유도한다.
• 개방형 디코더를 정규화 요소로 활용하여, 최종 인코더 상태에만 의존하도록 강제함으로써 인코더의 선택성과 장기 기억 유지 능력을 향상시킨다.
• 공유된 임베딩과 공유된 인코더 파라미터를 사용하여 LSTMs로 모델을 구현함으로써, 디코더 간에 파라미터 효율적인 지식 전이를 가능하게 한다.
• 일반화 능력과 강건성을 평가하기 위해 교차 엔트로피 및 강화 학습 훈련 설정을 모두 적용한다.
• 고정 인코더, 기울기 흐름 차단, 모델 용량 제어를 통한 분석 실험을 수행하여, 개방형 디코더가 인코더 기억에 미치는 영향을 고립적으로 분석한다.

실험 결과

연구 질문

• RQ1 포인터-게이터 디코더와 함께 개방형 디코더를 훈련시킬 경우, 장문의 입력 텍스트에서 핵심 정보를 기억하는 데에 인코더의 능력이 향상되는가?
• RQ2 주의 기능이 없는 디코더를 포함한 이중 디코더 아키텍처는 표준 포인터-게이터 모델보다 더 나은 요약 성능을 낼 수 있는가?
• RQ3 성능 향상은 보조 디코더의 설계 때문인지, 단지 모델 용량 증가 또는 앙상블 효과 때문인가?
• RQ4 향상된 인코더 기억 능력이 DUC-2002와 같은 외부 도메인 테스트 세트에서의 사전성 및 일반화 능력 향상에 얼마나 기여하는가?
• RQ5 기준 모델 대비 요약 길이, 중복도, 추상적 요약 정도 측면에서 모델 성능은 어떻게 비교되는가?

주요 결과

• CNN/Daily Mail 데이터셋에서, 2-디코더 모델(pg + cbdec)는 교차 엔트로피 설정에서 ROUGE-L F1 스코어 43.7을 기록하였으며, 이는 포인터-게이터 기준 모델의 42.1보다 유의미하게 높은 성능이다.
• 강화 학습 설정에서는 2-디코더 모델이 ROUGE-L F1 스코어 44.1을 기록하였고, 기준 모델의 42.5보다 높아, 다양한 훈련 환경에서도 일관된 성능 향상을 보였다.
• 테스트 전용 설정인 DUC-2002에서의 일반화 능력도 향상되어, 교차 엔트로피 설정에서 ROUGE-L F1 32.4, 강화 학습 설정에서 33.1을 기록하며 기준 모델을 초월했다.
• 메모리 능력 테스트 결과, 2-디코더 모델은 소스 텍스트의 66.2%의 핵심 단어를 복원했고, 기준 모델은 58.9%를 기록하여 더 강력한 인코더 기억 능력을 입증했다.
• SQuAD에서의 关련 키워드 검출 기반 사전성 지표를 바탕으로 한 분석에서도, 2-디코더 모델은 66.2%의 핵심 단어를 복원하여 기준 모델의 58.9%보다 더 우수한 핵심 콘텐츠 유지 능력을 보였다.
• 요약 길이는 유사한 수준(66.42 대 65.88 단어)을 유지하면서도 중복도가 낮아, 반복이나 길이 증가 없이도 더 나은 사전성 향상을 달성했다.