[논문 리뷰] Generative and Discriminative Text Classification with Recurrent Neural Networks

Dani Yogatama, Chris Dyer외 2명|arXiv (Cornell University)|2017. 03. 06.

Topic Modeling인용 수 110

한 줄 요약

요약: 이 논문은 생성적(LSTM 기반)과 판별적(LSTM 기반) 텍스트 분류기를 비교하며, 판별적 모델이 점근적 오차가 더 낮은 반면 생성적 모델은 적은 데이터로도 더 빨리 학습하고, 지속 학습 및 제로샷 학습 설정에서 데이터 분포 변화에 더 robust하다(강인하다).

ABSTRACT

We empirically characterize the performance of discriminative and generative LSTM models for text classification. We find that although RNN-based generative models are more powerful than their bag-of-words ancestors (e.g., they account for conditional dependencies across words in a document), they have higher asymptotic error rates than discriminatively trained RNN models. However we also find that generative models approach their asymptotic error rate more rapidly than their discriminative counterparts---the same pattern that Ng & Jordan (2001) proved holds for linear classification models that make more naive conditional independence assumptions. Building on this finding, we hypothesize that RNN-based generative classification models will be more robust to shifts in the data distribution. This hypothesis is confirmed in a series of experiments in zero-shot and continual learning settings that show that generative models substantially outperform discriminative models.

연구 동기 및 목표

• 텍스트 분류 작업에서 판별적 vs. 생성적 LSTM 모델의 성능 평가.
• 모형 유형 간 점근적 오차와 샘플 복잡도 차이 확인.
• 지속 학습 및 제로샷 학습 실험을 통한 데이터 분포 변화에 대한 강건성 평가.

제안 방법

• 문서를 표현하기 위해 피포 호 연결 및 평균 은닉 상태 풀링을 사용하는 판별적 LSTM 구현.
• 공유 및 독립 LSTM을 사용하여 p(x|y)와 p(y)를 계산하는 클래스 기반 언어 모델로 생성적 모델 개발.
• Prediction 시 Bayes 규칙을 사용하여 p(y|x)를 최대화하는 판별적 모델과 p(x|y)p(y)를 최대화하는 생성적 모델 학습.
• 생성적 모델의 Shared LSTM 변형에서 클래스 간 단어 임베딩 및 LSTM 매개변수를 공유.
• 나이브 베이즈, 크네저-네이(Kneser–Ney), NB 신경망 등 기본 baselines와 6개 데이터셋 비교.
• Generative Shared LSTM에서 unlabeled 데이터로 선학습한 공유 구성요소를 사용하고 클래스 임베딩을 미세조정하여 Generative Shared LSTM의 적응 속도 향상.

실험 결과

연구 질문

• RQ1 판별적 LSTM이 텍스트 분류에서 생성적 LSTM보다 더 낮은 점근적 오차를 달성하는가?
• RQ2 생성적 LSTM이 소량 데이터 구간에서 더 빠른 학습 속도와 더 나은 일반화를 보이는가?
• RQ3 연속 학습 및 제로샷 학습 설정에서 생성적 모델이 데이터 분포 변화에 더 강건한가?

주요 결과

• 판별적 LSTM은 생성적 LSTM보다 점근적 정확도가 더 높으며, 선형 모델에 대한 Ng & Jordan(2001)의 결과와 일치한다.
• 생성적 LSTMs는 점근적 오차에 더 빨리 도달하고, 작은 데이터 상황에서 더 강한 독립성 가정의 baseline 생성 모델을 능가한다.
• 연속 학습에서 생성적 모델은 순차적으로 도입된 클래스들을 더 잘 처리하고 재앙적 망각을 완화한다.
• 제로샷 학습에서 고정된 레이블 임베딩을 가진 생성적 LSTM은 unseen 클래스에 대해 정확도와 재현율이 뚜렷하며, 자기학습을 사용할 때 판별적 모델을 여러 설정에서 능가한다.
• unlabeled 데이터로 사전학습된 Generative Shared LSTM은 독립적으로 학습된 생성적 모델의 성능에 근접하며 새로운 클래스에 더 빠르게 적응할 수 있다.