[논문 리뷰] Learning to Encode Text as Human-Readable Summaries using Generative Adversarial Networks

Yau-Shian Wang, Hung-yi Lee|arXiv (Cornell University)|2018. 10. 05.

Topic Modeling참고 문헌 22인용 수 4

한 줄 요약

이 논문은 문서-요약 쌍이 필요 없이 텍스트를 인간이 읽을 수 있는 요약문으로 압축하는 GAN 기반 오토인코더를 제안한다. 생성자(generator)가 재구성기(reconstructor)에 의해 재구성 가능하고, 디세이미네이터(discriminator)에 의해 실제 인간의 글과 구분되지 않을 정도로 간결하고 자연스러운 요약문을 생성하도록 훈련시킴으로써, 모델는 비지도 추상적 요약(abstractive summarization)을 달성하며 영어 및 중국어 데이터셋에서 높은 ROUGE 점수를 기록한다.

ABSTRACT

Auto-encoders compress input data into a latent-space representation and reconstruct the original data from the representation. This latent representation is not easily interpreted by humans. In this paper, we propose training an auto-encoder that encodes input text into human-readable sentences, and unpaired abstractive summarization is thereby achieved. The auto-encoder is composed of a generator and a reconstructor. The generator encodes the input text into a shorter word sequence, and the reconstructor recovers the generator input from the generator output. To make the generator output human-readable, a discriminator restricts the output of the generator to resemble human-written sentences. By taking the generator output as the summary of the input text, abstractive summarization is achieved without document-summary pairs as training data. Promising results are shown on both English and Chinese corpora.

연구 동기 및 목표

• 비해석 가능한 벡터가 아닌 인간이 읽을 수 있는 요약문을 잠재 표현(latent representation)으로 생성하는 텍스트 오토인코더를 개발하기 위해.
• 문서-요약 쌍 훈련 데이터에 의존하지 않고 추상적 요약(abstractive summarization)을 가능하게 하기 위해.
• 생성된 요약문의 자연어 유창성(natural language fluency)을 강제하기 위해 디세이미네이터를 사용함으로써 요약 품질을 향상시키기 위해.
• 이산적인 시퀀스 생성에 어려움이 있는 점을 극복하면서, GAN을 사용한 순서-순서(sequence-to-sequence) 모델 훈련의 가능성을 탐색하기 위해.
• 영어 및 중국어 코퍼스에서 제로샷(Zero-shot) 및 전이학습(transfer learning) 설정에서 모델의 성능을 평가하기 위해.

제안 방법

• 모델은 입력 텍스트를 짧고 인간이 읽을 수 있는 요약문 시퀀스로 압축하는 생성자(generator)를 사용한다.
• 재구성기(reconstructor)는 생성자의 출력을 디코딩하여 원래 입력을 재구성하며, 재구성 손실을 최소화한다.
• 디세이미네이터(discriminator)는 실제 인간이 작성한 문장과 생성자의 출력을 구별하도록 훈련되어, 자연어 유창성을 유도한다.
• 생성자는 디세이미네이터를 속이기 위해 적대적(generative adversarial) 방식으로 훈련되며, 더 현실적인 요약문을 생성하기 위해 GAN 프레임워크를 사용한다.
• 훈련 안정성과 성능을 평가하기 위해 두 가지 GAN 훈련 방법—WGAN과 적대적 REINFORCE—을 평가한다.
• 전이학습은 소스 도메인(예: CNN/Daily Mail)에서 사전 훈련된 디세이미네이터를 사용하여 타겟 도메인(예: 영어 Gigaword)에 적용함으로써 탐색된다.

실험 결과

연구 질문

• RQ1 쌍이 없는 훈련 데이터로도 순서-순서 오토인코더가 인간이 읽을 수 있는 요약문을 생성할 수 있는가?
• RQ2 디세이미네이터를 사용한 적대적 훈련이 생성된 요약문의 자연스러움과 유창성 향상에 얼마나 효과적인가?
• RQ3 다른 데이터셋에서 사전 훈련된 디세이미네이터를 사용한 전이학습 시 모델이 도메인 간 일반화가 가능한가?
• RQ4 다른 GAN 훈련 전략(예: WGAN 대비 REINFORCE)이 요약 품질과 훈련 안정성에 어떤 영향을 미치는가?
• RQ5 감독 없이 생성된 요약문이 정보가 풍부하고 의미 있는 요약으로서의 역할을 얼마나 잘 수행할 수 있는가?

주요 결과

• 제안된 모델은 중국어 Gigaword 데이터셋에서 경쟁적인 ROUGE 점수를 기록했으며, 적대적 REINFORCE 훈련을 사용한 결과 ROUGE-1은 41.25, ROUGE-2는 26.54, ROUGE-L은 37.76였다.
• 쌍이 없는 데이터로도 모델는 단순 기준선(lead-15)과 사전 훈련된 생성자보다 뚜렷이 뛰어난 성능을 보이며, 적대적 훈련의 효과를 입증했다.
• WGAN 버전은 더 빠른 수렴을 보였지만, 영어 Gigaword 데이터셋에서 적대적 REINFORCE보다 약간 낮은 성능을 보였다.
• CNN/Daily Mail에서 사전 훈련된 디세이미네이터를 사용한 전이학습은 사전 훈련된 생성자만 사용한 경우보다 성능이 향상되었지만, 도메인 분포 불일치로 인해 도메인 내 훈련 성능보다 낮았다.
• 생성자는 핵심 내용을 추출하고 일관된 문장을 형성하는 데 성공했지만, 요약 길이와 어휘 크기 제약로 인해 ROUGE-L 점수는 감독 기반 기준선보다 낮았다.
• 모델는 재구성 가능하고 인간이 읽을 수 있는 요약문을 성공적으로 생성하여, 적대적 훈련을 통한 비지도 추상적 요약의 가능성을 입증했다.