[논문 리뷰] Unsupervised Abstractive Sentence Summarization using Length Controlled Variational Autoencoder

Raphael Schumann|arXiv (Cornell University)|2018. 09. 13.

Topic Modeling인용 수 13

한 줄 요약

이 논문은 길이 제어 기반 변동형 오토인코더(VAE)를 사용하여 비지도 학습 방식의 개괄적 문장 요약을 제안한다. 여기서 디코더는 학습 가능한 길이 임베딩(LenEmb)에 조건을 받으며, 더 짧고 요약적인 요약문을 생성한다. 단순한 접두사 기반 베이스라인을 능가하지는 않지만, 모델는 전체 재구성보다 높은 ROUGE 점수를 기록함으로써, 지도 학습 없이도 길이 제어가 개괄적 생성에서 정보 압축을 향상시킬 수 있음을 보여준다.

ABSTRACT

In this work we present an unsupervised approach to summarize sentences in abstractive way using Variational Autoencoder (VAE). VAE are known to learn a semantically rich latent variable, representing high dimensional input. VAEs are trained by learning to reconstruct the input from the probabilistic latent variable. Explicitly providing the information about output length during training influences the VAE to not encode this information and thus can be manipulated during inference. Instructing the decoder to produce a shorter output sequence leads to expressing the input sentence with fewer words. We show on different summarization data sets, that these shorter sentences can not beat a simple baseline but yield higher ROUGE scores than trying to reconstruct the whole sentence.

연구 동기 및 목표

• 병렬 학습 데이터가 필요 없이 압축적이고 정보량이 풍부한 문장 요약을 생성할 수 있는 비지도 개괄적 요약 방법을 개발하는 것.
• 디코딩 중 출력 길이를 제어하는 것이 VAE에 의해 생성된 개괄적 요약의 품질을 향상시킬 수 있는지 조사하는 것.
• LenEmb를 통한 명시적 길이 조건화가 잠재 공간이 길이 정보를 인코딩할 필요성을 줄여주어 요약 길이와 내용에 대한 더 나은 제어를 가능하게 하는지 확인하는 것.
• ROUGE 지표를 사용하여 표준 요약 벤치마크에서 모델의 성능을 평가하고, 베이스라인 및 아블레이션 변형과 비교하는 것.

제안 방법

• 입력 문장을 의미적으로 rich한 잠재 표현으로 학습하기 위해 양방향 RNN 인코더와 자동회귀 RNN 디코더를 사용한 변동형 오토인코더(VAE)를 사용한다.
• 잠재 변수 z의 스토케스틱 샘플링을 통해 기울기 흐름을 가능하게 하기 위해 재구성 기법을 적용하며, 인코더에서 유도된 μ와 σ를 사용해 z = μ + σ ⊙ ε로 z를 샘플링한다.
• 각 디코딩 단계 t에서 남은 단어 수를 임베딩하고, 이를 디코더 입력에 연결하여 출력 길이를 이끌어내는 데 사용하는 길이 임베딩(LenEmb)을 도입한다.
• 디코더는 입력 문장을 재구성하도록 훈련되며, 목표 출력 길이에 조건을 받는다. 길이 임베딩은 훈련 중에 함께 학습된다.
• 잠재 표현이 입력 문장의 전반적인 단어 빈도 통계를 유지하도록 보장하기 위해 단어의 집합 손실(bag-of-words loss)을 적용한다.
• VAE 목적 함수의 KL 발산 항은 훈련 중에 점차 감소하여 재구성 품질과 잠재 공간의 규제성 간의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 VAE 기반 모델이 어떤 지도 학습 없이도 압축적이고 정보량이 풍부한 요약문을 생성할 수 있는가?
• RQ2 학습 가능한 길이 임베딩에 조건을 받는 디코더가 더 짧고 집중적인 요약문을 생성할 수 있는 능력을 향상시키는가?
• RQ3 VAE의 잠재 공간에 문장 길이 정보가 어느 정도 포함되어 있으며, LenEmb는 이러한 인코딩에 어떤 영향을 미치는가?
• RQ4 모델이 단순한 베이스라인을 능가하지 못하더라도, 길이 제어된 생성 방식이 전체 재구성보다 더 높은 ROUGE 점수를 기록할 수 있는가?

주요 결과

• LenEmb 모델은 DUC-2004 및 Gigaword 데이터셋 양쪽에서 기존 VAE보다 높은 ROUGE-1, ROUGE-2, ROUGE-L 점수를 기록하여 요약 품질 향상을 입증한다. 이는 접두사 기반 베이스라인을 능가하지는 않지만, 압축성 향상이 이루어졌음을 의미한다.
• DUC-2004에서 LenEmb 모델은 ROUGE-1 16.38, ROUGE-2 2.56, ROUGE-L 14.19를 기록하여 기존 VAE(14.49, 2.06, 12.28)를 초월하며 압축성 향상을 확인한다.
• Gigaword에서 LenEmb 모델은 ROUGE-1 22.19, ROUGE-2 4.56, ROUGE-L 19.88를 기록하여 기존 VAE(19.91, 4.14, 18.02)를 다시 초월한다.
• DUC-2004에서 잠재 변수로부터 문장 길이를 예측하는 선형 회귀의 R²는 LenEmb 없이 0.59, LenEmb 유무에 따라 0.41로 나타나, LenEmb가 잠재 공간이 길이 정보를 인코딩할 필요성을 줄임을 시사한다.
• 모델는 목표 길이 20단어(75자)에 근접한 출력 길이를 성공적으로 줄였으며, 60%의 출력이 원하는 범위에 포함되어 있어 효과적인 길이 제어가 이루어졌음을 확인한다.
• 기존 VAE보다 개선되었음에도 불구하고, 모델는 단순한 접두사 기반 베이스라인(입력의 100%를 첫 번째 문장으로 추출)을 능가하지 못하여 재구성 정밀도에 한계가 있음을 시사한다.