[논문 리뷰] Learning to Generate Reviews and Discovering Sentiment

Alec Radford, Rafał Józefowicz외 1명|arXiv (Cornell University)|2017. 04. 05.

Topic Modeling참고 문헌 47인용 수 350

한 줄 요약

이 논문은 바이트-수준의 곱셈 LSTM이 해석 가능한 감정 단위를 학습하고 이를 통해 감정을 예측하고 감정 제어 텍스트를 생성할 수 있음을 보여주며, 여러 감정 작업에서 무감독 사전학습으로 강력한 성과를 달성합니다.

ABSTRACT

We explore the properties of byte-level recurrent language models. When given sufficient amounts of capacity, training data, and compute time, the representations learned by these models include disentangled features corresponding to high-level concepts. Specifically, we find a single unit which performs sentiment analysis. These representations, learned in an unsupervised manner, achieve state of the art on the binary subset of the Stanford Sentiment Treebank. They are also very data efficient. When using only a handful of labeled examples, our approach matches the performance of strong baselines trained on full datasets. We also demonstrate the sentiment unit has a direct influence on the generative process of the model. Simply fixing its value to be positive or negative generates samples with the corresponding positive or negative sentiment.

연구 동기 및 목표

• 무감독 바이트-수준 언어 모델이 감정과 같은 의미 있는 고수준 개념을 학습할 수 있는지 여부를 조사한다.
• 감정 관련 작업에 대해 학습된 표현의 데이터 효율성과 품질을 평가한다.
• 대규모 언어 모델 내에서 해방된(분리된) 감정 단위의 존재와 활용성을 examining한다.
• 감정 정보가 모델의 생성 프로세스에 미치는 영향을 탐구한다.
• 무감독 표현의 한계를 이해하기 위한 도메인 간 및 데이터셋 간의 한계를 평가한다.

제안 방법

• 4096 단위의 단일 레이어 곱셈 LSTM(mLSTM)을 대규모 Amazon 상품 리뷰 코퍼스(~8,200만 개 리뷰)에 대해 학습한다.
• 텍스트를 UTF-8 바이트로 처리하고 최종 셀 상태를 다운스트림 태스크의 고정 특징 표현으로 사용한다.
• 감정 및 관련 작업에 대해 mLSTM 표현 위에 로지스틱 회귀 분류기를 학습한다.
• 낮은 데이터 상황에서 성능을 향상시키고 희소하고 해석 가능한 특징을 식별하기 위해 L1 규제를 적용한다.
• mLSTM에서 학습된 감정 관련 단위를 분석 및 시각화하고 그 값을 고정하여 생성에 미치는 영향을 파악한다.

실험 결과

연구 질문

• RQ1 바이트-수준 언어 모델이 감독 없이도 감정과 같은 해석 가능한 고수준 개념을 해방적으로 학습할 수 있는가?
• RQ2 감정 분석을 위한 이러한 표현이 감독 기반 대안에 비해 데이터 효율적으로 작동하는가?
• RQ3 감정을 포착하는 단일 단위가 존재하고 텍스트 생성에 의미 있게 영향을 줄 수 있는가?
• RQ4 이러한 무감독 표현이 도메인 외의 태스크로 전이될 때의 한계는 무엇인가?
• RQ5 도메인 및 데이터 분포가 학습된 감정 표현과 모델 성능에 어떤 영향을 미치는가?

주요 결과

• mLSTM 내에서 감정 해리(disentangled) 단위가 하나 생성되며, 양극성과 음극성을 구분하는 이진 모드 활성화 분포를 보인다.
• 감정 단위만으로 threshold를 적용했을 때 IMDB에서 92.30%의 테스트 정확도를 달성하여 NB-SVM trigram을 능가하고 준지도 학습 주력의 최첨단에 근접한다.
• 전체 4096-단위 표현은 IMDB에서 92.88% 정확도를 제공하며 단일 감정 단위에 비해 약간의 이득에 불과하다.
• 이진 SST에서 무감독 표현은 라벨이 적은 데이터로도 최첨단 성과를 달성하며 데이터 효율적이다(그림 2에서 확인 가능).
• 대형 도메인 외 데이터셋(Yelp)에서 용량 한계를 보이며 전체 데이터에서 95.22%를 달성하지만 일부 설정에서는 더 간단한 베이스라인과의 경쟁력을 유지한다.
• 감정 단위를 긍정적이거나 부정적으로 고정하면 샘플링된 리뷰에서 생성이 해당 감정으로 조향되어 제어 가능한 텍스트 생성이 가능해진다.
• 학습된 표현은 도메인과 유사한 감정 태스크(MR, CR)에서 가장 효과적이며 일반적 의미 연관성이나 도메인 외 태스크(SICK)에서는 덜 효과적이다.