[논문 리뷰] Self-Supervised Learning for Contextualized Extractive Summarization

Hong Wang, Xin Wang외 5명|arXiv (Cornell University)|2019. 06. 11.

Topic Modeling참고 문헌 31인용 수 6

한 줄 요약

이 논문은 인간의 레이블 없이 문서 수준의 맥락을 활용하는 세 가지 자기지도 학습 전훈 작업—Mask, Replace, Switch—을 제안한다. 이 작업들을 사용해 원시적인 CNN/DM 기사로 계층적 모델을 전훈하면, 사전 학습 없이 훈련하는 모델보다 더 빠른 수렴 속도를 보이며 SOTA 수준의 ROUGE 점수(ROUGE-L: 37.86)를 달성한다. 이는 NeuSum과 같은 이전 SOTA 모델을 초월한다.

ABSTRACT

Existing models for extractive summarization are usually trained from scratch with a cross-entropy loss, which does not explicitly capture the global context at the document level. In this paper, we aim to improve this task by introducing three auxiliary pre-training tasks that learn to capture the document-level context in a self-supervised fashion. Experiments on the widely-used CNN/DM dataset validate the effectiveness of the proposed auxiliary tasks. Furthermore, we show that after pre-training, a clean model with simple building blocks is able to outperform previous state-of-the-art that are carefully designed.

연구 동기 및 목표

• 기존 모델이 사전 학습 없이도 학습하기 어려운 문서 수준의 맥락을 포괄함으로써 추출적 요약을 향상시키기 위해.
• 인간이 레이블을 제공하지 않은 내재된 문서 구조를 학습하는 자기지도 학습 전훈 작업을 개발하기 위해.
• 간단한 계층적 모델에 전훈을 적용하면 복잡하게 설계된 최신 기술 모델을 초월할 수 있음을 보여주기 위해.
• 문서 수준의 맥락이 모델 성능과 훈련 효율성에 미치는 영향을 조사하기 위해.
• 스위칭 확률과 같은 하이퍼파rameter 선택에 대한 전훈 방법의 탄력성 평가하기 위해.

제안 방법

• Mask(후보 풀에서 누락된 문장을 예측), Replace(다른 문서에서 문장이 교체되었는지 감지), Switch(동일한 문서 내에서 문장들이 교환되었는지 감지)라는 세 가지 자기지도 학습 전훈 작업을 제안한다.
• 문장 인코딩을 위해 양방향 LSTM을 사용하고, 문서 수준의 맥락을 통합하기 위해 자기주의 모듈을 포함한 계층적 모델을 사용한다.
• 골드 문장 레이블이 있는 추출적 요약에 대해 전훈을 마친 후, 원시적인 CNN/DM 기사로 세 작업을 사용해 모델을 전훈한다.
• 전훈 단계에서는 학습률을 0.0001로 설정하고, 마스킹, 교체, 스위칭 문장에 대해 각각 0.25의 확률을 적용한다.
• 평가에는 ROUGE 점수(Rouge-1, Rouge-2, Rouge-L)를 사용하며, 통계적 신뢰성을 확보하기 위해 ±0.25의 신뢰구간을 적용한다.
• 사전 학습된 모델의 문장 인코더만 재사용하고 스위칭 확률을 변화시켜 민감도를 평가하기 위해 추론 분석을 수행한다.

실험 결과

연구 질문

• RQ1 문서 수준의 구조에 대한 자기지도 학습 전훈이 추출적 요약 성능을 향상시킬 수 있는가?
• RQ2 Mask, Replace, Switch 작업을 통한 전훈이 사전 학습 없이 훈련하는 것보다 더 빠른 수렴과 더 나은 일반화 성능을 제공하는가?
• RQ3 성능 향상의 원인은 문서 수준의 맥락 모델링에서 기인하는가, 아니면 문장 수준의 표현 학습에서 기인하는가?
• RQ4 문장 스위칭 확률을 제어하는 하이퍼파rameter에 대해 모델 성능이 얼마나 민감한가?
• RQ5 문서 인식 자기지도 학습 작업을 통해 사전 학습된 간단한 모델 아키텍처가 복잡하게 설계된 최신 기술 모델을 초월할 수 있는가?

주요 결과

• Switch 전훈 작업이 가장 높은 ROUGE-L 점수 37.86을 기록하여 이전 SOTA 모델인 NeuSum(37.61)을 능가한다.
• 모든 세 전훈 작업이 기본 모델보다 성능을 향상시키며, ROUGE-L 점수는 각각 Mask(37.65), Replace(37.73), Switch(37.86)를 기록한다.
• Switch 방법은 테스트 피팅 단계에서 단 9 에포크 만에 수렴하며, 기본 모델의 최고 성능 도달까지 24 에포크가 소요되는 것과 비교해 뚜렷한 수렴 속도 향상을 보인다.
• 사전 학습된 모델의 문장 인코더만 재사용하더라도 기본 모델보다 성능 향상이 이루어지며, 이는 사전 학습이 문장 표현 학습을 향상시킨다는 것을 시사한다.
• 모델은 하이퍼파ram터 변화에 대해 탄력적이다: 스위칭 확률 0.15는 0.25와 거의 동일한 성능을 보이며, 0.35는 약간의 성능 저하를 보여 0.15–0.25 범위 내에서 안정성을 확보한다.
• 기본 계층적 아키텍처를 사용해도 사전 학습을 통해 SOTA 성능을 달성함으로써, 자기지도 학습 전훈이 복잡한 모델 설계의 필요성을 줄임을 입증한다.