[논문 리뷰] Semi-supervised Sequence Learning

Andrew M. Dai, Quoc V. Le|arXiv (Cornell University)|2015. 11. 04.

Topic Modeling참고 문헌 38인용 수 490

한 줄 요약

이 논문은 언어 모델과 시퀀스 오토에인코더를 사용하여 대량의 레이블이 없는 데이터에서의 비지도 사전학습을 통해 순환 신경망의 훈련 안정성과 일반화 성능을 향상시키는 준지도 학습 방법을 제안한다. 레이블이 없는 대량의 데이터에서 비지도 목적을 통해 LSTM을 초기화함으로써, 추가적인 레이블 데이터 없이도 IMDB, DBpedia, 20 Newsgroups, CIFAR-10에서 최신 기준 또는 경쟁 가능한 성능을 달성한다.

ABSTRACT

We present two approaches that use unlabeled data to improve sequence learning with recurrent networks. The first approach is to predict what comes next in a sequence, which is a conventional language model in natural language processing. The second approach is to use a sequence autoencoder, which reads the input sequence into a vector and predicts the input sequence again. These two algorithms can be used as a "pretraining" step for a later supervised sequence learning algorithm. In other words, the parameters obtained from the unsupervised step can be used as a starting point for other supervised training models. In our experiments, we find that long short term memory recurrent networks after being pretrained with the two approaches are more stable and generalize better. With pretraining, we are able to train long short term memory recurrent networks up to a few hundred timesteps, thereby achieving strong performance in many text classification tasks, such as IMDB, DBpedia and 20 Newsgroups.

연구 동기 및 목표

• 시퀀스 분류 작업을 위한 깊은 LSTM 네트워크 훈련의 불안정성과 열악한 일반화 성능을 해결하기 위해.
• 대량의 레이블이 없는 데이터를 활용하는 비지도 사전학습 기법을 탐구하여 지도 학습의 시퀀스 학습 성능을 향상시키기 위해.
• 오토에인코더 또는 언어 모델을 통한 사전학습이 무작위 초기화보다 성능 향상과 더 빠른 수렴을 이끌어내는지 평가하기 위해.
• 예를 들어, 아마존 리뷰 데이터를 사용하여 Rotten Tomatoes 감성 분류 성능을 햖थ기 위해 관련 도메인 간 전이 가능성 탐구하기 위해.
• 텍스트를 초월해 비순차적 데이터, 예를 들어 행 단위로 처리된 이미지와 같은 비순차적 데이터로 준지도 시퀀스 학습의 적용 범위 확장하기 위해.

제안 방법

• 레이블이 없는 시퀀스에서 다음 토큰 예측을 위한 순환 언어 모델을 훈련하여 LSTM 가중치를 사전학습한다.
• 입력 시퀀스를 고정 길이의 벡터로 인코딩하고 공유된 인코더-디코더 가중치를 사용해 원래 시퀀스를 재구성하는 시퀀스 오토에인코더를 구현한다.
• 오토에인코더 또는 언어 모델에서 학습된 인코더 가중치를 하류의 지도 학습 LSTM 분류기의 초기화로 사용한다.
• 레이블 예측 손실의 가중치를 타임스텝에 걸쳐 0에서 1로 점차 증가시켜 기울기 흐름을 이전 레이어로 개선하기 위해 선형 레이블 이득을 적용한다.
• 표준 백프로파게이션 스루 타임(Backpropagation Through Time)을 사용해 사전초기화된 LSTM을 레이블된 데이터에서 미세조정한다.
• 이미지를 행 단위로 시퀀스로 처리하여 비텍스트 데이터로의 방법 확장하기 위해 오토에인코더의 재구성에 L2 손실을 사용한다.

실험 결과

연구 질문

• RQ1 언어 모델이나 시퀀스 오토에인코더를 이용한 비지도 사전학습이 텍스트 분류 작업에서 LSTM의 훈련 안정성과 일반화 성능을 향상시키는가?
• RQ2 유사 도메인에서 대량의 레이블이 없는 데이터(예: 아마존 리뷰)를 사전학습에 사용하면, 추가 레이블 데이터 없이도 하류 분류 작업(예: Rotten Tomatoes)의 성능이 향상되는가?
• RQ3 사전학습과 선형 레이블 이득의 조합이 장기간 시퀀스와 깊은 LSTM에서 성능에 어떤 영향을 미치는가?
• RQ4 제안된 준지도 학습 방법이 텍스트가 아닌 순차적 데이터, 예를 들어 픽셀 행 단위로 처리된 이미지와 같은 비순차적 데이터로 일반화 가능한가?
• RQ5 IMDB, DBpedia, CIFAR-10와 같은 표준 벤치마크에서 사전학습된 LSTM의 성능이 최신 기준 모델과 경쟁력 있거나 슈퍼어리어한가?

주요 결과

• SA-LSTM와 LM-LSTM 모델은 모든 벤치마크에서 무작위 초기화된 LSTM보다 우수한 성능을 보였으며, SA-LSTM은 20 Newsgroups에서 15.6%의 테스트 오차를 기록하여 이전 방법보다 뚜렷한 향상을 이뤘다.
• 레이블이 없는 아마존 리뷰 데이터를 사용해 시퀀스 오토에인코더를 사전학습함으로써 Rotten Tomatoes 감성 분류 정확도가 79.7%에서 83.3%로 향상되었으며, 이는 상당한 양의 레이블 데이터를 추가한 것과 동일한 효과를 가졌다.
• DBpedia 문자 수준 분류 작업에서 선형 이득을 적용한 SA-LSTM은 1.19%의 테스트 오차를 기록하여 최신 기준 컨볼루션 네트워크(예: 대규모 컨볼루션 네트워크의 1.73%)를 초월했다.
• DBpedia에서 SA-LSTM과 선형 이득을 조합했을 때 테스트 오차가 1.32%에서 1.19%로 감소하여 기울기 흐름 향상이 입증되었다.
• CIFAR-10에서 2층의 LM-LSTM은 18.0%의 테스트 오차를 기록하여 사전학습되지 않은 LSTM(26.0%)과 기본 컨볼루션 DBN(21.1%)을 모두 능가했다.
• 시퀀스 오토에인코더 방법은 표준 LSTM보다 훈련 중 더 안정적이었으며, 사전학습 단계 덕분에 수백 개의 타임스텝에 이르는 시퀀스에 대한 LSTM 훈련이 가능해졌다.