[논문 리뷰] Learning Generic Sentence Representations Using Convolutional Neural Networks

Zhe Gan, Yunchen Pu외 4명|arXiv (Cornell University)|2016. 11. 23.

Topic Modeling참고 문헌 52인용 수 16

한 줄 요약

이 논문은 복합 신경망(CNN)을 문장 인코더로, 장기 단기 기억(LSTM) 네트워크를 디코더로 사용하여 대규모의 레이블이 없는 텍스트에서 일반적인 문장 표현을 학습하는 CNN-LSTM 인코더-디코더 모델을 제안한다. 소설 데이터로 훈련된 모델는 태스크별 미세조정 없이도 다양한 자연어 처리(NLP) 작업에서 최신 기준 성능을 달성하며, 의미 유사도 및 이미지-문장 랭킹과 같은 여러 벤치마크에서 스위프트 코어트 벡터를 능가한다.

ABSTRACT

We propose a new encoder-decoder approach to learn distributed sentence representations that are applicable to multiple purposes. The model is learned by using a convolutional neural network as an encoder to map an input sentence into a continuous vector, and using a long short-term memory recurrent neural network as a decoder. Several tasks are considered, including sentence reconstruction and future sentence prediction. Further, a hierarchical encoder-decoder model is proposed to encode a sentence to predict multiple future sentences. By training our models on a large collection of novels, we obtain a highly generic convolutional sentence encoder that performs well in practice. Experimental results on several benchmark datasets, and across a broad range of applications, demonstrate the superiority of the proposed model over competing methods.

연구 동기 및 목표

• 태스크별 미세조정 없이 다양한 NLP 작업에 적용 가능한 일반적인 문장 표현 모델을 개발하기 위해.
• 각 태스크별로 별도의 모델을 훈련하는 데 드는 비효율성을 해결하기 위해, 하나의 재사용 가능한 문장 인코더를 학습하기 위해.
• 스위프트 코어트 벡터와 같은 RNN 기반 접근 방식과 대비하여 CNN가 문장 인코더로 얼마나 효과적인지 탐색하기 위해.
• 단락 수준의 의존성 모델링을 위해 계층적 인코더-디코더 구조를 도입하여 장거리 의존성 모델링을 향상시키기 위해.
• 선형 분류기로 하류 작업에서의 일반화 능력을 평가하기 위해 학습된 표현을 사용하기 위해.

제안 방법

• 단어 임베딩에 대한 컨볼루션 및 풀링 연산을 통해 입력 문장을 고정 길이의 연속 벡터로 매핑하는 CNN 인코더를 사용한다.
• 입력 문장을 재구성하는(오토인코더), 다음 문장을 예측하는(미래 예측자), 또는 둘을 함께 복원하는(복합 모델) 것을 목적으로 한 LSTM 디코더를 활용한다.
• 문장 재구성과 미래 문장 예측에 대한 교차 엔트로피 손실을 사용하여, 문장 간 시퀀스-투-시퀀스 목표로 모델을 종합적으로 훈련한다.
• 문장을 입력으로 받아 다수의 미래 문장을 예측하는 계층적 CNN-LSTM 모델을 도입하여, 문단 수준의 의존성을 모델링한다.
• 하류 작업에서의 미세조정 시 고정된 단어 임베딩을 사용하여 문장 인코더를 재학습하지 않는다.
• 훈련된 CNN 인코더를 하류 작업의 선형 분류기용 특징 추출기로 활용하여, 보다 이상적인 적응 없이 벤치마크 데이터셋에 적용한다.

실험 결과

연구 질문

• RQ1 CNN 기반 문장 인코더와 LSTM 디코더를 조합한 모델이 다양한 NLP 작업에 일반화 가능한 문장 표현을 학습할 수 있는가?
• RQ2 의미 유사도, 동의어 탐지, 이미지-문장 랭킹 작업에서 제안된 CNN-LSTM 모델의 성능이 스위프트 코어트 벡터와 비교해 어떻게 되는가?
• RQ3 계층적 인코더-디코더 구조를 통해 더 긴 컨텍스트 창을 도입함으로써 문장 간 의존성 모델링이 향상되는가?
• RQ4 미세조정 없이도 하류 작업에서 고정된 특징 추출기로 사용될 때 CNN 인코더가 효과적으로 일반화되는가?
• RQ5 문장 인코더로 RNN 대신 CNN를 사용할 경우 더 구분력 있거나 강건한 문장 표현을 얻을 수 있는가?

주요 결과

• 고정 임베딩을 사용한 동안, CNN-LSTM 오토인코더 모델은 COCO 이미지-문장 랭킹 작업에서 Recall@1 점수 0.8284를 기록하여 스위프트 코어트 모델의 0.8477을 능가하지 못했지만, 동일한 설정에서 우수한 성능을 보였다.
• 계층적 CNN-LSTM 모델은 COCO 데이터셋에서 Recall@1 0.8352와 중앙값 랭크 1.0을 기록하여 최고의 기준 모델 수준의 성능을 달성했다.
• SICK 의미 유사도 벤치마크에서 제안된 모델은 피어슨 상관계수 0.8533과 스피어만 순위 상관계수 0.7891을 기록하여, Kiros 등(2015)의 combine-skip 모델을 능가했다.
• 복합 모델은 MSRP 데이터셋에서 동의어 탐지 F1 점수 0.8434를 기록하여, 태스크 독립적 방법 중 최고 성능을 기록했다.
• 소설 데이터로 훈련된 CNN 인코더는 태스크 간 일반화가 효과적으로 이루어져, 미세조정 없이도 8개의 벤치마크에서 경쟁력 있거나 뛰어난 성능을 기록했다.
• 하류 평가 시 고정된 단어 임베딩을 사용한 결과, 학습 가능한 임베딩보다 더 높은 성능을 기록하여, 인코더가 강건하고 이식 가능한 특징을 캡처하고 있음을 시사했다.