[논문 리뷰] DeepChannel: Salience Estimation by Contrastive Learning for Extractive Document Summarization

Jiaxin Shi, Liang Chen외 4명|arXiv (Cornell University)|2018. 11. 06.

Topic Modeling참고 문헌 26인용 수 6

한 줄 요약

DeepChannel는 추출적 문서 요약을 위한 대trastive 학습 기반의 색소 추정 모델을 제안하며, 원본 문서를 재구성할 수 있는 요약의 품질을 평가하기 위해 신경 채널 모델을 사용한다. 이 모델은 CNN/Daily Mail에서 최신 기준 ROUGE 점수를 달성하며, 훈련 데이터의 1%만으로도 뛰어난 성능을 유지하여 높은 데이터 효율성과 도메인 이탈에 대한 강건성을 입증한다.

ABSTRACT

We propose DeepChannel, a robust, data-efficient, and interpretable neural model for extractive document summarization. Given any document-summary pair, we estimate a salience score, which is modeled using an attention-based deep neural network, to represent the salience degree of the summary for yielding the document. We devise a contrastive training strategy to learn the salience estimation network, and then use the learned salience score as a guide and iteratively extract the most salient sentences from the document as our generated summary. In experiments, our model not only achieves state-of-the-art ROUGE scores on CNN/Daily Mail dataset, but also shows strong robustness in the out-of-domain test on DUC2007 test set. Moreover, our model reaches a ROUGE-1 F-1 score of 39.41 on CNN/Daily Mail test set with merely $1 / 100$ training set, demonstrating a tremendous data efficiency.

연구 동기 및 목표

• 종합적 신경망 요약 모델의 한계인 데이터 비효율성, 과적합, 해석 불가능성 문제를 해결하기 위해.
• 특히 DUC2007 벤치마크에서 도메인 외부 설정에서도 강건성을 향상시키기 위해.
• 최소한의 훈련 데이터로도 뛰어난 성능을 달성할 수 있도록 데이터 효율성을 향상시키기 위해.
• 색소를 채널 확률로 모델링함으로써 더 해석 가능한 요약 프레임워크를 도입하기 위해.
• 휴리스틱 또는 규칙 기반의 노이즈 채널 모델을 학습 가능한 깊이 신경망 채널 모델로 대체하기 위해.

제안 방법

• 각 문서에 대해 두 개의 후보 요약(하나는 더 색소가 강하고, 다른 하나는 덜 색소가 강한)을 생성하고, 이에 기반해 대비 학습을 통해 색소 추정 네트워크를 훈련한다.
• S₁가 더 색소가 강한 요약일 때, 채널 확률 P(D|S₁)과 P(D|S₂) 사이의 마진을 최대화하도록 모델을 학습한다.
• 어텐션 기반의 깊이 신경망이 채널 확률 P(D|S)를 모델링하여, 문서 D가 요약 S로부터 생성될 가능성을 표현한다.
• 색소 점수는 그레디티적이고 반복적인 추출 과정에 사용되어 최종 요약을 구성하는 가장 색소가 강한 문장을 선택한다.
• 모든 요약 문장에 어텐션을 할당하고, 단일 문장에만 집중하는 어텐션 붕괴를 방지하기 위해 정규화 항을 도입한다.
• 현재 버전에서는 언어 모델 P(S)를 사용하지 않으며, 오직 채널 모델 P(D|S)에만 집중한다.

실험 결과

연구 질문

• RQ1 제한된 레이블 데이터에서 대비 학습 전략이 추출적 요약의 색소 추정에 개선을 가져올 수 있는가?
• RQ2 제안된 색소 추정 모델은 종합적 모델 대비 도메인 외부 테스트 세트에서 어떻게 성능을 내는가?
• RQ3 훈련 데이터가 극적으로 감소했을 때 모델의 성능 유지 정도는 어느 정도인가?
• RQ4 정규화 항이 어텐션 분포를 향상시키고 어텐션 붕괴를 방지하는 데 기여하는가?
• RQ5 높은 해석 가능성과 함께 경쟁 가능한 요약 성능를 달성할 수 있는가?

주요 결과

• DeepChannel는 훈련 데이터의 1/100만을 사용하여 CNN/Daily Mail 테스트 세트에서 ROUGE-1 F1 점수 39.41을 기록하여 뛰어난 데이터 효율성을 입증한다.
• DUC2007 테스트 세트에서 종합적 기준 모델을 능가하여 도메인 이탈에 대한 강건성을 입증한다.
• 정규화 항 가중치 α = 0.001일 때 모델이 가장 높은 ROUGE 점수를 기록하며, 항을 제거한 경우(α = 0) 성능이 급격히 떨어진다.
• 어텐션 히트맵 시각화 결과, 모델이 의미적으로 관련 있는 문장 쌍에 어텐션을 기울이는 것을 확인했고, 정규화 항이 단일 문장에 집중하는 어텐션 붕괴를 방지함을 입증한다.
• 정성적 분석 결과, DeepChannel는 색소가 강한 문장을 성공적으로 추출하고 중복된 내용을 피하며, 추출된 문장이 골드 요약의 의미를 잘 반영함을 확인했다.
• 정규화 항 가중치를 α = 0.1로 늘여도 모델은 높은 성능를 유지하지만, 안정적인 학습이 어려워지면서 성능이 저하됨을 관찰했다.