[논문 리뷰] Variational Autoencoders for Semi-supervised Text Classification

Weidi Xu, Haoze Sun외 2명|arXiv (Cornell University)|2016. 03. 08.

Text and Document Classification Technologies인용 수 6

한 줄 요약

이 논문은 각 시점에서 클래스 레이블을 디코더 LSTM에 조건화시켜 비정규화된 데이터를 효과적으로 활용함으로써 텍스트 분류 성능을 햖थ한 Semi-supervised Sequential Variational Autoencoder (SSVAE)를 제안한다. 이 방법은 조건부 LSTMs와 샘플링 기반 최적화 전략을 결합함으로써 분산과 계산 비용을 감소시켜 IMDB와 AG’s News에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Although semi-supervised variational autoencoder (SemiVAE) works in image classification task, it fails in text classification task if using vanilla LSTM as its decoder. From a perspective of reinforcement learning, it is verified that the decoder's capability to distinguish between different categorical labels is essential. Therefore, Semi-supervised Sequential Variational Autoencoder (SSVAE) is proposed, which increases the capability by feeding label into its decoder RNN at each time-step. Two specific decoder structures are investigated and both of them are verified to be effective. Besides, in order to reduce the computational complexity in training, a novel optimization method is proposed, which estimates the gradient of the unlabeled objective function by sampling, along with two variance reduction techniques. Experimental results on Large Movie Review Dataset (IMDB) and AG's News corpus show that the proposed approach significantly improves the classification accuracy compared with pure-supervised classifiers, and achieves competitive performance against previous advanced methods. State-of-the-art results can be obtained by integrating other pretraining-based methods.

연구 동기 및 목표

• 표준 LSTMs를 디코더로 사용할 때 기존 준지도 학습 변동 자료오차 모델(SemiVAE)이 텍스트 분류에서 실패하는 이유를 해결하기 위해.
• 각 복원 단계에서 레이블 정보를 통합함으로써 디코더의 정확한 레이블과 잘못된 레이블을 구분하는 능력을 향상시키기 위해.
• 비정규화된 목적 함수의 기울기 추정을 위한 샘플링 기반 방법을 제안하여 학습의 계산 복잡도를 감소시키기 위해.
• 강화 학습의 베이스라인 기법을 활용한 분산 감소를 통해 학습을 안정화시키기 위해.
• 제안된 모델이 벤치마크 텍스트 분류 데이터셋에서 경쟁력 있고 최신 기술 수준의 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• 모든 시점에서 분류 레이블을 입력으로 받는 조건부 LSTM 디코더를 도입하여 레이블 구분 능력을 향상시킨다.
• 레이블 정보가 셀 상태에 통합되는 CLSTM-I와 입력 게이트에 통합되는 CLSTM-II라는 두 가지 특정한 조건부 LSTM 구조를 제안한다.
• 비정규화된 목적 함수의 기울기를 추정하기 위한 샘플링 기반 최적화 방법을 개발하여 계산 비용을 감소시킨다.
• 강화 학습의 베이스라인 기법을 기반으로 한 두 가지 분산 감소 기법을 적용하여 학습을 안정화시킨다.
• 재구성 및 분류 간에 잠재 변수를 공유하는 Seq2Seq 구조와 순차 분류기로 구성된 변동 자료오차 모델 프레임워크를 사용한다.
• 스티ochastic 잠재 변수를 통해 역전파를 가능하게 하기 위해 재구성 기법을 활용하여 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 LSTMs를 디코더로 사용할 때 기존 SemiVAE가 텍스트 분류에서 실패하는 이유는 무엇인가?
• RQ2 준지도 학습 환경에서 디코더의 다양한 레이블을 구분하는 능력을 어떻게 향상시킬 수 있는가?
• RQ3 샘플링 기반 최적화 방법은 준지도 텍스트 분류에서 정확도를 훼손하지 않고도 학습 복잡도를 감소시킬 수 있는가?
• RQ4 각 복원 단계에서 레이블 정보를 통합하면 실제 텍스트 데이터셋에서 분류 성능이 향상되는가?
• RQ5 제안된 방법이 사전학습 기법과 결합될 경우 최신 기술 수준의 결과를 달성할 수 있는가?

주요 결과

• 제안된 SSVAE 모델은 2.5K개의 레이블된 샘플만을 사용하여 IMDB 데이터셋에서 10.3%의 분류 오차율을 기록하며, 감독 학습 기반 LSTM보다 7.7个百分点 높은 성능을 보였다.
• CLSTM-I와 CLSTM-II 모두 기존의 LSTM 디코더보다 성능 향상이 뚜렷했으며, IMDB와 AG’s News 양쪽에서 뛰어난 성능을 기록했다.
• 사전학습 기반 방법과 결합했을 때, 모델은 IMDB 데이터셋에서 최신 기술 수준의 성능을 달성했다.
• KL 발산 분석 결과, 50개의 잠재 단위 중 약 10개가 비영인 값을 유지함을 확인하여 잠재 공간 내에서 효과적인 정보 인코딩이 이루어졌음을 시사했다.
• t-SNE 시각화 결과, 유사한 문법적 및 어휘적 구조를 가진 문장들이 잠재 공간 내에서 군집되어 있음을 확인하여 의미 정보와 레이블 정보가 분리되어 있음을 입증했다.
• 동일한 잠재 코드에서 다른 레이블을 사용해 생성된 문장들은 일관된 문법적 구조를 보이며 감성 방향이 대조됨을 확인하여, 모델이 생성 과정에서 레이블 조건부로 학습하고 있음을 나타냈다.