[논문 리뷰] Distraction-Based Neural Networks for Document Summarization

Qian Chen, Xiaodan Zhu외 3명|arXiv (Cornell University)|2016. 10. 26.

Topic Modeling참고 문헌 31인용 수 61

한 줄 요약

이 논문은 개괄적 문서 요약을 위한 방해 요소 기반 신경망을 제안하며, 모델이 전반적인 문서 의미를 더 잘 포착할 수 있도록 다양한 콘텐츠 영역으로 집중를 동적으로 이동시킴으로써 주의 메커니즘을 향상시킵니다. 이 방법은 특징 공학 없이도 장문의 문서에서 특히 우수한 성능을 내며, ROUGE-1에서 최대 29%의 상대적 향상을 달성합니다.

ABSTRACT

Distributed representation learned with neural networks has recently shown to be effective in modeling natural languages at fine granularities such as words, phrases, and even sentences. Whether and how such an approach can be extended to help model larger spans of text, e.g., documents, is intriguing, and further investigation would still be desirable. This paper aims to enhance neural network models for such a purpose. A typical problem of document-level modeling is automatic summarization, which aims to model documents in order to generate summaries. In this paper, we propose neural models to train computers not just to pay attention to specific regions and content of input documents with attention models, but also distract them to traverse between different content of a document so as to better grasp the overall meaning for summarization. Without engineering any features, we train the models on two large datasets. The models achieve the state-of-the-art performance, and they significantly benefit from the distraction modeling, particularly when input documents are long.

연구 동기 및 목표

• 문서 콘텐츠 전반에 걸쳐 집중 주의 외에도 통제된 방해 요소를 모델링하여 신경 문서 요약을 향상시키는 것.
• 표준 주의 메커니즘이 종종 전반적인 일관성을 놓칠 수 있는 장문의 텍스트에서 전반적인 문서 이해를 향상시키는 것.
• 수작업 특징 없이도 방해 요소 모델링이 개괄적 요약 성능을 향상시킬 수 있는지 탐색하는 것.
• 이중 순환 신경망과 다수준 주의와 같은 최신 기법들과 함께 방해 요소 모델링의 효과를 평가하는 것.
• 요약이 가장 필요한 장문의 문서에서 방해 요소 메커니즘이 더 큰 성과를 내는지 확인하는 것.

제안 방법

• 디코더가 관련 세그먼트 외에도 입력 문서의 다양한 부분으로 집중을 이동시킬 수 있도록 하는 방해 요소 메커니즘을 제안합니다.
• 게이트드 순환 단위(GRUs)를 사용한 인코더-디코더 프레임워크에 방해 요소 모델링을 통합하여 문서 콘텐츠의 동적 탐색을 가능하게 합니다.
• 관련 콘텐츠에 주의를 기울이면서도 먼 영역나 또는 관련성이 낮은 영역 간의 통제된 전이를 允허하는 소프트 주의 메커니즘을 활용합니다.
• 성능 향상을 위해 이중 주의 및 UNK 토큰 대체와 같은 고급 기법들을 방해 요소 강화 모델에 확장합니다.
• 특징 공학 없이 대규모 데이터셋(CNN/DailyMail 및 LCSTS)에서 모델을 엔드 투 엔드로 훈련합니다.
• ROUGE 점수를 사용하여 개괄적 요약 성능을 평가하며, 방해 요소가 있는 모델과 없는 모델을 비교합니다.

실험 결과

연구 질문

• RQ1 방해 요소 모델링은 장문의 문서에서 신경 개괄적 요약 모델의 성능을 향상시킬 수 있는가?
• RQ2 방해 요소 메커니즘은 국소적 주의를 넘어서 전반적인 문서 이해를 향상시키는가?
• RQ3 방해 요소의 효과는 문서 길이에 따라 어떻게 달라지는가?
• RQ4 이중 순환 신경망과 다수준 주의와 같은 기존 최신 기법들과 방해 요소 모델링을 효과적으로 조합할 수 있는가?
• RQ5 방해 요소 모델링으로 얻는 성능 향상은 다양한 데이터셋과 문서 길이에 걸쳐 일관된가?

주요 결과

• CNN 데이터셋에서 장문의 문서(평균 680 토큰)에 대해 방해 요소 모델은 ROUGE-1에서 29.0%의 상대적 향상을 달성했으며, 짧은 문서(335 토큰)에선 25.9%였습니다.
• LCSTS 데이터셋에서 장문의 문서 서브셋에 대해 방해 요소 모델은 ROUGE-1에서 24.0% 향상되고 ROUGE-L에선 15.3% 향상되어 기준 모델을 크게 앞서며 성능 향상을 보였습니다.
• LCSTS 데이터셋은 약 100 토큰의 짧은 문서를 포함하고 있어 방해 요소가 성능 향상에 기여하지 않았으며, 이는 장문의 텍스트에서 효과가 가장 두드러짐을 시사합니다.
• 이중 GRU와 이중 주의와 같은 강력한 기준 모델과도 결합했을 때 방해 요소 모델은 추가로 뚜렷한 성능 향상을 보였으며, 이는 그 보완적 가치를 확인합니다.
• 모델은 CNN 및 LCSTS 데이터셋 모두에서 최상의 성능을 기록했으며, LCSTS에서는 보고된 바 가장 높은 점수를 기록했습니다(ROUGE-1: 35.2, ROUGE-2: 22.6, ROUGE-L: 32.5).
• 결과는 방해 요소 모델링이 인코딩과 디코딩 간의 제어 메커니즘을 향상시켜 모델이 전반적인 문서 의미를 더 잘 파악할 수 있도록 한다는 것을 확인합니다.