[논문 리뷰] Neural Document Summarization by Jointly Learning to Score and Select Sentences

Qingyu Zhou, Nan Yang외 4명|arXiv (Cornell University)|2018. 07. 06.

Topic Modeling참고 문헌 27인용 수 14

한 줄 요약

이 논문은 추출적 문서 요약을 위한 새로운 엔드 투 엔드 신경망 프레임워크인 NeuSum을 제안한다. 이 프레임워크는 계층적 인코더와 순환 문장 추출기로 구성되어 문장 점수 매기기와 선택을 동시에 학습한다. 이전에 선택된 문장들을 기반으로 상대적 중요도를 모델링함으로써, CNN/Daily Mail 데이터셋에서 최신 기준 ROUGE 점수를 달성하여 이전의 별도로 처리하는 점수 매기기 및 선택 방법들을 능가한다.

ABSTRACT

Sentence scoring and sentence selection are two main steps in extractive document summarization systems. However, previous works treat them as two separated subtasks. In this paper, we present a novel end-to-end neural network framework for extractive document summarization by jointly learning to score and select sentences. It first reads the document sentences with a hierarchical encoder to obtain the representation of sentences. Then it builds the output summary by extracting sentences one by one. Different from previous methods, our approach integrates the selection strategy into the scoring model, which directly predicts the relative importance given previously selected sentences. Experiments on the CNN/Daily Mail dataset show that the proposed framework significantly outperforms the state-of-the-art extractive summarization models.

연구 동기 및 목표

• 기존의 추출적 요약 시스템이 문장 점수 매기기와 선택을 별개의 상호작용 없는 작업으로 다루는 한계를 해결하기 위해.
• 수동으로 설정한 특징 없이도 문장 점수 매기기와 선택을 동시에 최적화할 수 있는 엔드 투 엔드 학습 가능한 신경망 모델을 개발하기 위해.
• 이전 선택 사항의 영향을 고려하는 동적이고 역사 인식형 문장 선택을 통해 요약 성능을 향상시키기 위해.
• 최대 경계 여백 또는 정수 선형 프로그래밍과 같은 히ュ리스틱 선택 전략에 의존도를 줄이고 통합 최적화 과정을 학습함으로써.
• 점수 매기기와 선택의 공동 학습이 인간이 애너테이션한 요약과의 일치도를 향상시키며, 특히 주도적이지 않은 고영향 문장을 더 잘 선택함을 입증하기 위해.

제안 방법

• 계층적 인코더는 문장들을 처리하여 이중 방향 LSTM의 쌓인 레이어를 통해 국소적 및 전반적 맥락을 포착한다.
• 순환 문장 추출기는 부분 요약을 나타내는 은닉 상태를 유지하며, 각 단계에서 문장 점수 매기기를 조건화하는 데 사용된다.
• 각 단계에서, 모델은 남아 있는 문장들의 표현과 현재 추출 상태를 기반으로 상대적 중요도 점수를 계산하여 맥락 인식형 선택을 가능하게 한다.
• 모델는 문장의 주목도와 이미 선택된 문장들과의 중복도를 통합하는 미분 가능한 점수 매기기 메커니즘을 사용하여 엔드 투 엔드 백프로파게이션을 허용한다.
• 프레임워크는 시퀀스 생성 손실을 통해 훈련되며, 강화 학습 또는 감독 디코딩을 통해 최종 요약을 최적화한다.
• 수동으로 설정한 특징을 회피하고 원시 텍스트에서 직접 표현을 학습함으로써 일반화 능력과 적응 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 점수 매기기와 선택을 별도로 최적화하는 것과 비교해, 문장 점수 매기기와 선택을 공동으로 학습하는 것이 추출적 요약 성능을 향상시키는가?
• RQ2 현재 요약 상태를 기반으로 문장의 상대적 중요도를 모델링할 경우, 주도적이지 않은 고가치 문장의 선택에 어떤 영향을 미치는가?
• RQ3 선택 이력 유지 능력이 오류 전파를 줄이고 후속 단계의 선택 품질을 향상시키는 데 어느 정도 기여하는가?
• RQ4 NN-SE 및 오라클과 같은 강력한 베이스라인과 비교했을 때, 공동 프레임워크는 문장 위치 분포와 각 단계의 정밀도에서 어떤가?
• RQ5 수동으로 설정한 특징 없이 엔드 투 엔드 훈련을 통해 표준 벤치마크에서 더 나은 일반화 능력과 높은 ROUGE 점수를 달성할 수 있는가?

주요 결과

• NeuSum은 CNN/Daily Mail 테스트 세트에서 ROUGE-1 42.12, ROUGE-2 19.87, ROUGE-L 39.05를 기록하여 NN-SE 베이스라인과 최신 기준 방법들을 뛰어넘는 성능을 보였다.
• 첫 번째 문장 선택 단계에서 NeuSum은 40.38%의 정밀도를 기록하여 NN-SE 베이스라인보다 1.2个百分点 높았다.
• 두 번째 단계에서 NeuSum은 31.52%의 정밀도를 기록하여 NN-SE 베이스라인의 28.28%보다 3.24个百分点 향상되었다.
• 모델은 첫 다섯 문장에서 58.64%의 문장을 선택했으며, 이는 오라클(10%)에 더 가까운 반면 NN-SE 베이스라인은 80.91%를 기록하여 문장 선택의 균형이 떨어지는 것으로 나타났다.
• NeuSum은 문장 4–6 위치에서 30%의 문장을 추출했고, NN-SE는 거의 이를 선택하지 않았다. 이는 비주도적이지만 영향력 있는 콘텐츠를 더 잘 선택할 수 있음을 보여준다.
• 모델의 성능은 단계를 거치며 안정적이었으며, 공동 학습 메커니즘이 주로 주도적인 문장에 대한 과도한 의존도를 줄였고, 특히 꼬리 문장이 더 중요할 수 있는 모호한 경우에 유의미한 개선을 이룬다.