[논문 리뷰] Unsupervised Sentence Compression using Denoising Auto-Encoders

Thibault Févry, Jason Phang|arXiv (Cornell University)|2018. 09. 07.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 문장의 단어를 뒤섞기 및 노이즈 추가로 손상된 단일 언어 텍스트 코퍼스에서 훈련하는 디노이징 오토에인코더를 사용한 완전한 비지도 문장 압축 방법을 제안한다. 원본 문장을 재구성함으로써 학습한다. 복잡한 문장 쌍에 노출되지 않았음에도 불구하고, 모델은 문법적으로 올바르고 의미를 유지하는 요약문을 생성하며, 인간 평가에서는 지도 학습 모델과 경쟁 가능한 성능을 보이지만, ROUGE 지표에서는 성능이 열 劣하다.

ABSTRACT

In sentence compression, the task of shortening sentences while retaining the original meaning, models tend to be trained on large corpora containing pairs of verbose and compressed sentences. To remove the need for paired corpora, we emulate a summarization task and add noise to extend sentences and train a denoising auto-encoder to recover the original, constructing an end-to-end training regime without the need for any examples of compressed sentences. We conduct a human evaluation of our model on a standard text summarization dataset and show that it performs comparably to a supervised baseline based on grammatical correctness and retention of meaning. Despite being exposed to no target data, our unsupervised models learn to generate imperfect but reasonably readable sentence summaries. Although we underperform supervised models based on ROUGE scores, our models are competitive with a supervised baseline based on human evaluation for grammatical correctness and retention of meaning.

연구 동기 및 목표

• 원본 문장과 압축 문장을 쌍으로 가지지 않는 문장 압축 모델을 개발하는 것.
• 디노이징 오토에인코더가 단일 언어 코퍼스에서 비지도 사전 훈련을 통해 문장 압축을 학습할 수 있는지 탐색하는 것.
• 목표 요약문에 접근할 수 없는 조건에서 문법적 정확성과 의미 유지 정도를 평가하는 것.
• 문장 임베딩이 모델 출력 품질과 ROUGE 점수에 미치는 영향을 조사하는 것.
• ROUGE 지표가 요약 평가에 있어 제한점이 있음을 밝혀내기 위해 인간 평가와 비교함으로써 요약 품질 평가의 문제점을 평가하는 것.

제안 방법

• 모델는 단일 단일 언어 코퍼스에서 온 문장을 손상시킨 버전에서 훈련하는 디노이징 오토에인코더 아키텍처를 사용한다.
• 입력 문장은 단어 뒤섞기와 무작위 토큰 노이즈를 통해 '노이즈'가 가미된 입력으로 변형된다.
• 모델는 손상된 입력에서 원본 문장을 재구성함으로써 압축을 암묵적으로 학습한다.
• 모델는 원하는 출력 길이에 따라 조건화되어 다양한 압축 수준의 요약문을 생성할 수 있다.
• 문장 임베딩(예: InferSent)을 사용해 모델를 조건화하지만, 이는 인간 평가에서 성능 저하를 유발하는 트레이드오프를 초래한다.
• 훈련은 엔드 투 엔드이며 완전히 비지도이며, 복수의 병렬 데이터 없이 단일 언어 코퍼스에 의존한다.

실험 결과

연구 질문

• RQ1 모델가 복잡한 문장 쌍의 훈련 예제 없이도 디노이징 오토에인코더를 통해 효과적인 문장 압축을 학습할 수 있는가?
• RQ2 비지도 모델의 성능이 인간 평가에서 문법 정확성과 의미 유지 정도 측면에서 지도 학습 기반 모델과 비교해 어떻게 되는가?
• RQ3 문장 임베딩을 사용해 모델를 조건화하면 압축 출력 품질이 향상되는가, 악화되는가?
• RQ4 ROUGE 점수와 인간 평가에서의 요약 품질 간 상관관계는 어느 정도인가?
• RQ5 손상된 문장을 복원하는 방식으로 학습함으로써 모델가 의미 있는 문법적 요약문을 생성할 수 있는가?

주요 결과

• 비지도 디노이징 오토에인코더 모델은 문법적으로 정확하고 원본 의미를 유지하는 압축 문장을 생성하며, 인간 평가에서 지도 학습 기반 모델과 유사한 성능을 보였다.
• ROUGE 지표에서 성능이 열 劣했음에도 불구하고, 특히 문장 임베딩을 사용한 경우 인간 평가자들은 이 모델의 출력이 지도 학습 모델의 출력보다 더 정확하고 자연스럽다고 평가했다.
• InferSent 문장 임베딩을 통합함으로써 ROUGE 점수는 향상되었지만, 인간 평가에서 문법 정확성과 의미 유지 정도 모두에서 심각한 성능 저하가 발생했다.
• 원하는 출력 길이에 따라 조건화함으로써 모델는 다양한 길이의 요약문을 생성할 수 있어 압축 수준 제어가 가능했다.
• 혼란스럽고 노이즈가 가미된 입력에서 구조를 복구함으로써 모델는 문장 압축 패턴을 암묵적으로 학습하는 것으로 나타났다.
• ROUGE 점수가 인간 평가의 우수한 지표로 부적절하며, 종종 이해 가능성이나 의미 충실도와 상관관계가 없음을 발견했다.