[논문 리뷰] Classify or Select: Neural Architectures for Extractive Document Summarization

Ramesh Nallapati, Bowen Zhou외 1명|arXiv (Cornell University)|2016. 11. 14.

Topic Modeling참고 문헌 17인용 수 82

한 줄 요약

이 논문은 추출적 문서 요약을 위한 두 가지 새로운 RNN 기반 신경망 아키텍처—Classifier와 Selector—을 제안한다. Classifier는 문장의 원래 순서에 따라 포함 여부를 순차적으로 평가하며, Selector는 어떤 순서로든 주목할 만한 문장을 동적으로 선택하면서 주목도, 중복성, 내용의 풍부성을 함께 모델링한다. 두 모델 모두 DUC 2002 및 Daily Mail 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 문서의 구조가 손상된 경우 Selector가 Classifier를 능가한다.

ABSTRACT

We present two novel and contrasting Recurrent Neural Network (RNN) based architectures for extractive summarization of documents. The Classifier based architecture sequentially accepts or rejects each sentence in the original document order for its membership in the final summary. The Selector architecture, on the other hand, is free to pick one sentence at a time in any arbitrary order to piece together the summary. Our models under both architectures jointly capture the notions of salience and redundancy of sentences. In addition, these models have the advantage of being very interpretable, since they allow visualization of their predictions broken up by abstract features such as information content, salience and redundancy. We show that our models reach or outperform state-of-the-art supervised models on two different corpora. We also recommend the conditions under which one architecture is superior to the other based on experimental evidence.

연구 동기 및 목표

• 주목도, 중복성, 내용의 풍부성을 명시적으로 모델링하는 해석 가능한 신경망 아키텍처를 개발하여 추출적 문서 요약에 응용한다.
• 문장 선택 전략으로서 순차적 분류와 동적 선택이라는 두 가지 다른 신경망 전략을 비교한다.
• 문서 구조가 모델 성능에 미치는 영향을 평가하고, 각 아키텍처가 어떤 조건에서 뛰어난 성능을 발휘하는지 규명한다.
• 주목도 및 중복성과 같은 추상적 특징 기반으로 모델 결정을 시각화할 수 있는 프레임워크를 제공한다.
• 명시적인 특징 모델링을 통해 추출적 요약 성능를 향상시키면서도 해석 가능성 유지

제안 방법

• 각 문장을 고밀도 표현으로 인코딩하기 위해 양방향 GRU를 사용한 후, 문장 인덱스에 대해 두 번째 양방향 GRU를 적용하여 문서 수준의 맥락을 포착한다.
• 주목도(문서 표현과의 코사인 유사도), 중복성(요약 표현과의 코사인 유사도), 내용의 풍부성, 위치 중요도의 가중 조합을 통해 각 문장의 복합 점수를 계산한다.
• Classifier 아키텍처에서는 이진 분류 헤드를 사용하여 원래 문서 순서에 따라 요약에 포함될 문장을 예측한다.
• Selector 아키텍처에서는 문장 인덱스를 한 개씩 순차적으로 예측하는 생성적, 자동회귀 디코더를 구현하여 비순차적 선택을 가능하게 한다.
• 추론 중에 변화하는 요약 표현을 통합하여 현재 요약 상태를 반영하고 중복 선택을 방지한다.
• 학습 가능한 가중 점수 함수를 사용한다: score = w_c·σ(W_c^T·h_j) + w_s·cos(h_j,d) + w_p·σ(W_p^T·p_j) - w_r·σ(cos(h_j,s_j)) + b, 여기서 h_j는 문장 표현, d는 문서 표현, s_j는 요약 표현, p_j는 위치 임베딩이다.

실험 결과

연구 질문

• RQ1 구조화된 문서와 비구조화된 문서에서 Classifier와 Selector 아키텍처의 성능를 어떻게 비교할 수 있는가?
• RQ2 논의적 구조가 없는 경우, 문장을 어떤 순서로든 선택할 수 있는 능력(Selector)이 순차적 선택(Classifier)보다 성능상의 이점을 제공하는가?
• RQ3 주목도, 중복성, 내용의 풍부성을 명시적으로 모델링하고 시각화함으로써 요약 결정의 해석 가능성은 어느 정도 향상될 수 있는가?
• RQ4 신경망 모델이 주목도와 중복성을 동시에 최적화하면서도 표준 벤치마크에서 높은 ROUGE 점수를 유지할 수 있는가?
• RQ5 특히 Daily Mail에서 훈련한 후 DUC 2002와 같은 이질적 데이터에 미세조정했을 때, 이러한 모델의 도메인 전이에 대한 내성은 어느 정도인가?

주요 결과

• Deep-Classifier 모델은 Daily Mail 데이터셋에서 ROUGE-L 점수 43.1 ± 0.9를 기록하였으며, 95% 신뢰구간에서 Cheng & Lapata(2016)와 통계적으로 구분되지 않는다.
• DUC 2002 데이터셋에서 Deep-Classifier는 ROUGE-L 점수 42.3을 기록하였으며, Lead-3(40.2) 및 LReg(40.3)와 같은 기준 모델을 능가한다.
• 문장 순서가 무작위로 섞인 경우, Selector 아키텍처가 Classifier 아키텍처를 능가하여 ROUGE-L 32.5 대 32.9를 기록하며, 구조적 손상에 대한 더 뛰어난 내성성을 보였다.
• 섞인 데이터에서 Selector 모델은 ROUGE-L 33.5를 기록한 반면, Classifier 모델은 32.9로 하락하여, 논의적 순서가 상실된 상황에서 구조에 의존하지 않는 선택 전략이 더 효과적임을 확인했다.
• 정성적 분석 결과, 모델은 특징별 주의 메커니즘을 통해 해석 가능하며, 학습된 가중치가 주목도, 중복성, 위치의 상대적 중요도를 드러낸다.
• 모델들은 뉴스 기사와 같은 구조화된 데이터와 트윗 클러스터와 같은 비구조화된 데이터 모두에서 뛰어난 성능를 보였으며, 특히 낮은 구조성 환경에서 Selector 아키텍처가 특히 효과적이다.