[논문 리뷰] Deconvolutional Paragraph Representation Learning

Yizhe Zhang, Dinghan Shen외 4명|arXiv (Cornell University)|2017. 08. 16.

Topic Modeling참고 문헌 30인용 수 65

한 줄 요약

이 논문은 순수 컨볼루셔널 인코더와 디컨볼루셔널 디코더를 도입하여 단락 표현을 학습하고, 재현이 효율적인 긴 시퀀스 재구성 및 리커런트 디코더 없이도 강력한 반지도 학습 성능을 가능하게 한다.

ABSTRACT

Learning latent representations from long text sequences is an important first step in many natural language processing applications. Recurrent Neural Networks (RNNs) have become a cornerstone for this challenging task. However, the quality of sentences during RNN-based decoding (reconstruction) decreases with the length of the text. We propose a sequence-to-sequence, purely convolutional and deconvolutional autoencoding framework that is free of the above issue, while also being computationally efficient. The proposed method is simple, easy to implement and can be leveraged as a building block for many applications. We show empirically that compared to RNNs, our framework is better at reconstructing and correcting long paragraphs. Quantitative evaluation on semi-supervised text classification and summarization tasks demonstrate the potential for better utilization of long unlabeled text data.

연구 동기 및 목표

• 긴 텍스트 시퀀스에 대해 강건한 단락 규모 표현 학습을 동기 부여한다.
• 다층 디컨볼루셔널 디코더를 갖춘 CNN 인코더를 제안하고 입력 텍스트를 재구성한다.
• RNN 기반 디코딩 제거가 노출 편향을 완화하고 긴 단락 재구성 및 효율성을 개선하는지 보여준다.
• 재구성 학습과 감독 학습 작업을 함께 최적화하여 반지도 학습의 이점을 입증한다.

제안 방법

• 단어 임베딩으로부터 고정 차원의 잠재 벡터 h를 생성하기 위해 다층 CNN 인코더를 사용한다.
• 코사인 유사도 기반 확률로 입력 단어 임베딩을 재구성하기 위해 다층 디컨볼루셔널 네트워크로 h를 디코딩한다.
• 최대 가능도 방식의 단어 수준 자동 인코딩 목표로 학습한다(합계_t log p(w_hat^t = w^t)).
• 선택적으로 a를 증가시키는 매개변수와 함께 재구성 손실과 감독 손실을 공동으로 최적화하여 반지도 학습으로 확장한다.
• 효율성 및 병렬 처리를 위한 스트라이드 기반 컨볼루션/디컨볼루션과 풀링 기반 방법을 비교한다.
• 의존성 모델링 및 장거리 구조 측면에서 디컨볼루션 디코더와 RNN 디코더의 차이점을 논의한다.

실험 결과

연구 질문

• RQ1 순수 컨볼루셔널 인코더와 디컨볼루셔널 디코더가 긴 단락을 정확히 재구성할 수 있는가?
• RQ2 자기회귀 디코딩을 제거하는 것이 노출 편향을 완화하고 긴 시퀀스 표현을 개선하는가?
• RQ3 학습된 표현이 RNN 기반 자동인코더에 비해 반지도 분류 및 요약 작업에 이점을 제공하는가?

주요 결과

Model	BLEU	ROUGE-1	ROUGE-2
LSTM-LSTM [ 47 ]	24.1	57.1	30.2
Hier. LSTM-LSTM [ 47 ]	26.7	59.0	33.0
Hier. + att. LSTM-LSTM [ 47 ]	28.5	62.4	35.5
CNN-LSTM	18.3	56.6	28.2
CNN-DCNN	94.2	97.0	94.2

• CNN-DCNN은 LSTM 기반 디코더와 비교하여 긴 단락 재구성 품질이 우수하다.
• CNN-DCNN의 재구성 성능은 단락 길이가 증가해도 안정적인 반면, LSTM 기반 디코더는 저하된다.
• CNN-DCNN은 표준 GPU에서 RNN 기반 자동인코더보다 훨씬 빠른 학습 및 추론을 제공한다.
• 잡음 제거 및 철자 교정 작업에서 CNN-DCNN은 더 낮은 오류율과 더 빠른 수렴을 달성한다.
• CNN-DCNN과의 공동 반지도 학습은 데이터 세트 전반의 문서 분류를 개선하고 arXiv 데이터의 요약 성능을 향상시킨다.