[논문 리뷰] Neural Latent Extractive Document Summarization

Xingxing Zhang, Mirella Lapata외 2명|arXiv (Cornell University)|2018. 08. 22.

Topic Modeling참고 문헌 21인용 수 8

한 줄 요약

이 논문은 문장 선택을 잠재 변수 문제로 간주하고, 히우리스틱 문장 레이블에 의존하는 대신 실제 인간 요약문을 직접 최적화하는 신경망 잠재 변수 추출 요약 모델을 제안한다. 문장 포함 여부를 이진 잠재 변수로 모델링하고, 실제 요약문의 직접적 우도를 통해 학습함으로써 CNN/Dailymail에서 최신 기술 수준의 성능을 달성한다. 이는 강력한 추출 기반 기준 모델과 경쟁 가능한 개선을 이룬다.

ABSTRACT

Extractive summarization models require sentence-level labels, which are usually created heuristically (e.g., with rule-based methods) given that most summarization datasets only have document-summary pairs. Since these labels might be suboptimal, we propose a latent variable extractive model where sentences are viewed as latent variables and sentences with activated variables are used to infer gold summaries. During training the loss comes \emph{directly} from gold summaries. Experiments on the CNN/Dailymail dataset show that our model improves over a strong extractive baseline trained on heuristically approximated labels and also performs competitively to several recent models.

연구 동기 및 목표

• 실제 요약문에서 유도된 하위 최적의 히우리스틱 문장 레이블에 의존하는 추출 요약 모델의 한계를 해결하기 위해.
• 잠재 문장 변수를 사용하여 실제 요약문의 우도를 직접 모델링하여 추출 요약을 향상시키기 위해.
• 실제 인간이 작성한 요약문을 직접 학습함으로써 히우리스틱 레이블 근사화가 필요 없도록 하기 위해.
• 실제 요약문을 직접 최적화하는 엔드 투 엔드 학습이 레이블 기반 학습보다 더 나은 요약 성능을 내는지 입증하기 위해.

제안 방법

• 각 문장의 요약 포함 여부를 이진 잠재 변수로 간주하는 잠재 변수 문제로 문장 선택을 모델링한다.
• Bi-LSTM 문장 인코더를 사용해 문장 표현을 생성하고, 이를 바탕으로 문서 수준의 Bi-LSTM를 통해 문맥을 포착한다.
• 원본 문장을 기반으로 요약 유사 문장 표현을 생성하기 위해 문장 압축 모델을 적용한다.
• 선택된 문장에 기반해 실제 요약문의 우도를 최대화하는 방식으로 모델을 학습하며, 잠재 변수 목표의 미분 가능 근사치를 사용한다.
• 학습 안정화를 위해 경사 하강법에 기반한 확률적 경사 하강법과 기울기 클리핑, 드롭아웃 정규화를 적용한다.
• 추론 과정에서는 각 문장의 선택 후행 확률에 따라 순위를 매기고, 상위 3개 문장을 최종 요약으로 선정한다.

실험 결과

연구 질문

• RQ1 실제 요약문을 직접 최적화하는 잠재 변수 모델이 히우리스틱 문장 레이블 기반으로 학습된 추출 모델보다 성능이 뛰어나게 되는가?
• RQ2 실제 요약문에 기반한 손실 함수를 사용해 학습하면, 기존의 추출 기반 기준 모델 대비 요약 성능이 향상되는가?
• RQ3 잠재 변수 프레임워크 내에서 원본 문장과 실제 요약 표현 간 격차를 효과적으로 메울 수 있는 문장 압축 모델을 사용할 수 있는가?
• RQ4 실제 요약문을 직접 최적화함으로써 얻는 성능 향상이 여러 ROUGE 지표에 걸쳐 안정적인가?
• RQ5 잠재 모델의 출력에 별도의 문장 압축 모델을 적용할 경우 요약 품질이 떨어지는가?

주요 결과

• 제안된 잠재 모델은 CNN/Dailymail 테스트 세트에서 ROUGE-L 점수 37.54를 기록하여 강력한 추출 기준 모델(37.14)을 0.40 포인트 초월한다.
• 규칙 기반 레이블로 학습된 추출 기준 모델 대비 ROUGE-L 0.40 포인트, ROUGE-2 0.32 포인트 향상되었다.
• 최근의 추상 기반 모델들과 경쟁 가능하며, ROUGE-L 기준으로 유일하게 하나의 추상 기반 모델(abstract-RL)을 제외한 모든 모델을 능가한다.
• 잠재 모델의 출력에 문장 압축 모델을 적용한 경우(Latent+Compress), 성능이著명하게 떨어져 ROUGE-L 점수가 34.33으로 하락하여, 압축 과정에서 요약에 중요한 표현이 제거될 수 있음을 시사한다.
• 잠재 모델의 성능 향상은 모든 ROUGE 지표에서 통계적으로 유의미하며, p < 0.05의 유의 수준을 확보한다.