[논문 리뷰] Controllable Abstractive Summarization

Angela Fan, David Grangier외 1명|arXiv (Cornell University)|2017. 11. 14.

Topic Modeling참고 문헌 31인용 수 26

한 줄 요약

이 논문은 요약 길이, 대상 엔티티, 글쓰기 스타일, 문서 나머지 섹션과 같은 고수준 선호도를 사용자가 지정할 수 있도록 허용하는 제어 가능한 개괄적 요약 모델을 제안한다. 길이, 엔티티, 스타일, 문서 위치에 대한 특수 토큰을 사용해 이산 제어 변수로 조건화된 순서-순서 모델을 통해, 개인화된 고품질 요약을 생성하며, CNN-DailyMail에서 최신 기술을 초월하여 40.38 F1-ROUGE1과 빈도 평가에서 59%의 인간 선호도를 기록한다.

ABSTRACT

Current models for document summarization disregard user preferences such as the desired length, style, the entities that the user might be interested in, or how much of the document the user has already read. We present a neural summarization model with a simple but effective mechanism to enable users to specify these high level attributes in order to control the shape of the final summaries to better suit their needs. With user input, our system can produce high quality summaries that follow user preferences. Without user input, we set the control variables automatically. On the full text CNN-Dailymail dataset, we outperform state of the art abstractive systems (both in terms of F1-ROUGE1 40.38 vs. 39.53 and human evaluation).

연구 동기 및 목표

• 기존의 개괄적 요약 모델이 원하는 길이, 대상 엔티티, 글쓰기 스타일, 또는 읽지 않은 문서 부분과 같은 선호도를 무시하는 데서 비롯되는 사용자 제어의 부재를 해결하기 위해.
• 복잡한 아키텍처 수정 없이도 사용자가 지정한 제어 변수에 기반해 신경망 요약을 조건화하는 단순하면서도 효과적인 메커니즘을 설계하기 위해.
• 제어 변수가 개인화를 가능하게 할 뿐만 아니라, 오라클 값으로 자동으로 설정된 경우에도 요약 품질 향상에 기여함을 입증하기 위해.
• CNN/DailyMail 벤치마크에서 자동 평가 지표(ROUGE)와 인간 평가를 통해 모델의 우수성을 검증하기 위해.

제안 방법

• 모델는 게이트형 선형 단위(Gated Linear Units, GLU)와 이중 주의(다중 힙 주의)를 사용한 컨볼루션형 순서-순서 아키텍처를 사용한다.
• 생성된 내용을 추적하고 반복을 줄이기 위해 디코더에 내부 주의(Intra-attention)를 통합한다.
• 제어 변수는 입력에 앞서 추가되는 특수 토큰으로 구현된다: 길이 범위, 익명화된 엔티티, 소스 스타일 마커(CNN 또는 Daily Mail 등), 문서 위치 표시자.
• 바이트-페어 인코딩(BPE)을 통한 서브워드 토크나이제이션과 인코더 및 디코더 임베딩 간의 가중치 공유를 통해 포인터 네트워크 없이도 희귀 엔티티 처리를 향상시킨다.
• 학습 중에는 참값 제어 변수가 제공되며, 추론 시에는 사용자가 이러한 토큰을 통해 원하는 값을 지정할 수 있다.
• 모델는 최대 우도 학습을 통해 훈련되며, 일반화 성능 향상을 위해 오라클 제어 값으로 미세조정된다.

실험 결과

연구 질문

• RQ1 길이, 엔티티, 스타일, 문서 섹션과 같은 사용자가 지정한 속성에 기반해 개인화된 요약을 효과적으로 제어할 수 있는 단순한 통합 메커니즘이 가능한가?
• RQ2 제어 변수가 오라클 값으로 자동으로 설정된 경우에도 모델을 조건화하는 것이 요약 품질 향상에 기여하는가?
• RQ3 ROUGE 및 인간 선호도 측면에서 이 모델의 성능은 최신 기술 개괄적 모델과 비교해 어떻게 되는가?
• RQ4 자동 평가 지표인 ROUGE가 제어된 요약 설정 환경에서 인간 판단과 얼마나 관련이 깊은가?

주요 결과

• 전체 텍스트 CNN-DailyMail 데이터셋에서 모델은 40.38 F1-ROUGE1을 기록하며, 이는 이전 최신 기술 모델(39.53 F1-ROUGE1)을 초월한다.
• 엔티티 익명화 설정에서 모델은 이전 최신 기술 대비 F1-ROUGE1을 0.76 포인트 향상시켰다.
• 500개의 테스트 기사에 대해 2,500건의 평가를 포함한 빈도 인간 평가에서, 59%의 평가자가 See 등(2017)의 요약보다 이 모델의 요약을 선호했다.
• 제어 변수는 매우 효과적이다: 길이 마커 토큰을 변경하면 요약 길이를 정밀하게 제어할 수 있으며, 참값 제어 마커를 사용하면 요약 품질이 크게 향상된다.
• ROUGE 점수와 인간 선호도 사이에 강한 상관관계가 있으며, 다섯 명의 평가자 중 최소 네 명이 일치하는 경우 약 두-thirds의 경우에서 일치를 보였다.
• 사용자 입력 없이도 고정된 오라클 튜닝 값으로 제어 변수를 설정한 경우에도 모델는 여전히 최신 기술 시스템을 능가했으며, 이는 제어 메커니즘이 학습을 향상시킨다는 것을 증명한다.