[論文レビュー] Learning to Generate Reviews and Discovering Sentiment

Alec Radford, Rafał Józefowicz+1 more|arXiv (Cornell University)|Apr 5, 2017

Topic Modeling参考文献 47被引用数 350

ひとこと要約

本論文は、バイト単位の乗算法LSTMが解釈可能な感情ユニットを学習し、感情を予測し感情制御付きテキストを生成できることを示し、教師なし事前学習を用いた複数の感情タスクで強い結果を達成する。

ABSTRACT

We explore the properties of byte-level recurrent language models. When given sufficient amounts of capacity, training data, and compute time, the representations learned by these models include disentangled features corresponding to high-level concepts. Specifically, we find a single unit which performs sentiment analysis. These representations, learned in an unsupervised manner, achieve state of the art on the binary subset of the Stanford Sentiment Treebank. They are also very data efficient. When using only a handful of labeled examples, our approach matches the performance of strong baselines trained on full datasets. We also demonstrate the sentiment unit has a direct influence on the generative process of the model. Simply fixing its value to be positive or negative generates samples with the corresponding positive or negative sentiment.

研究の動機と目的

• 教師なしのバイトレベル言語モデルが感情のような意味のある高度な概念を学習できるかを調査する。
• 感情関連タスクのための表現のデータ効率と品質を評価する。
• 大規模言語モデル内に存在する解離した感情ユニットの存在と有用性を調べる。
• 感情情報がモデルの生成プロセスにどのように影響するかを探る。
• 教師なし表現の限界を理解するために、ドメイン間およびデータセットの制約を評価する。

提案手法

• 4096 ユニットの単一層乗算法LSTM (mLSTM) を約 8200 万件のAmazon製品レビューコーパスで訓練する。
• テキストをUTF-8バイトとして処理し、最終セル状態を下流タスクの固定特徴表現として使用する。
• mLSTM表現の上にロジスティック回帰分類器を訓練して感情および関連タスクを分類する。
• データが少ない領域での性能を向上させ、希少で解釈可能な特徴を特定するためにL1正則化を適用する。
• mLSTM内で学習された感情関連ユニットを分析・可視化し、その値を固定して生成に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 バイトレベルの言語モデルは、監視なしで感情のような高レベル概念を解離して学習できるか。
• RQ2 感情分析のためのこのような表現は、監視付きのベースラインと比較してデータ効率がどれくらいか。
• RQ3 感情を捉える単一のユニットが存在し、それがテキスト生成に意味のある影響を与え得るか。
• RQ4 ドメイン内の感情以外のタスクへ転移した場合、このような教師なし表現の限界は何か。
• RQ5 ドメインとデータセットの分布は、学習された感情表現とモデルの性能にどのように影響するか。

主な発見

• mLSTM内に単一の感情解離ユニットが現れ、その活性化分布は二峰性で正の感情と負の感情を分離する。
• 感情ユニットだけでIMDBで閾値を設定した場合92.30%のテスト精度を達成し、NB-SVMのトライグラムを上回り半教師ありの最先端に近い。
• 完全な4096ユニット表現はIMDBで92.88%の精度を達成し、単一の感情ユニットに比べてわずかな改善にとどまる。
• バイナリSSTでは、ラベル付きデータのごく一部で教師なし表現が最先端の結果と同等の性能を示し、データ効率が高い（図2で確認可能）。
• 大規模・ドメイン外データセット（Yelp）ではキャパシティの天井が見られ、全データで95.22%を達成する一方、いくつかの設定では簡易ベースラインと競合的な性能を維持している。
• 感情ユニットを正または負に固定すると、サンプルされたレビューの生成を対応する感情へ誘導できる（制御可能なテキスト生成を実証）。
• 学習された表現は、ドメインが感情タスク（MR、CR）に類似している場合に最も効果的であり、一般的な意味的関連性やドメイン外タスク（SICK）では効果が小さい。