[論文レビュー] Lifelong Learning for Sentiment Classification

Zhiyuan Chen, Nianzu Ma+1 more|arXiv (Cornell University)|Jan 9, 2018

Sentiment Analysis and Opinion Mining参考文献 22被引用数 27

ひとこと要約

本稿では、確率的勾配降下法を用いたベイジアン最適化アプローチにより、以前に学習されたセンチメントタスクからの知識を活用する、生涯的センチメント分類（LSC）フレームワークを提案する。過去のドメインからのセンチメント語の極性に基づくペナルティ項を組み込むことで、20の製品ドメインにおける自然分布およびバランスドなクラス分布の両方で、ベースラインを著しく上回る性能を達成した。

ABSTRACT

This paper proposes a novel lifelong learning (LL) approach to sentiment classification. LL mimics the human continuous learning process, i.e., retaining the knowledge learned from past tasks and use it to help future learning. In this paper, we first discuss LL in general and then LL for sentiment classification in particular. The proposed LL approach adopts a Bayesian optimization framework based on stochastic gradient descent. Our experimental results show that the proposed method outperforms baseline methods significantly, which demonstrates that lifelong learning is a promising research direction.

研究の動機と目的

• サンプル選択バイアスのため、トレーニングデータが代表的でない可能性がある現実世界のシナリオにおいて、センチメント分類の性能を向上させる課題に対処すること。
• 過去のセンチメント分類タスクで得た知識を保持・再利用できる生涯学習システムを構築すること。
• 従来のトランスファーラーニングの限界を克服し、ラベル付きのソースドメインデータに依存するのではなく、過去の学習結果を統合すること。
• ドメイン不変のセンチメント知識を動的に学習プロセスに組み込むスケーラブルで効果的な最適化フレームワークを設計すること。
• 20の製品レビューのドメインを含む大規模で多様なコーパスを用いて、生涯学習の有効性を実証すること。

提案手法

• N−1個の過去のタスクからの知識が第Nタスクの学習を向上させる、逐次学習問題として生涯的センチメント分類を定式化する。
• 知識統合を伴うセンチメント分類器のトレーニングに、確率的勾配降下法（SGD）に基づくベイジアン最適化フレームワークを用いる。
• 最適化目的関数に2つのペナルティ項を導入する：1つは過去のドメインからのセンチメント語の極性を維持するためのもの、もう1つは予測されたセンチメント分布を既知のパターンに一致させるためのもの。
• 知識ベース（KB）として、過去のタスクにおける肯定的・否定的センチメント語の頻度比を用い、$ R_w = M_{+,w}^{KB}/(M_{+,w}^{KB} + M_{-,w}^{KB}) $ で表現する。
• 正則化を用いて過去の知識を統合する：$ \frac{1}{2}\alpha \sum_{w \in V_S} \left( X_{+,w} - R_w \cdot X_{+,w}^0 \right)^2 $ および否定的センチメントについても同様の式を適用する。
• 勾配計算にペナルティ項の偏微分を組み込み、知識移譲を伴うエンドツーエンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ターゲットドメインに十分なラベル付きデータがある場合でも、以前に学習されたセンチメント分類タスクからの知識が、未観測ドメインにおける性能向上に寄与するか。
• RQ2 過去の学習結果を、多様なドメインに一般化可能な形で効果的に表現・再利用する方法は何か。
• RQ3 過去のタスクからのドメイン不変のセンチメント語の極性を統合することで、標準的なトランスファーラーニングや単一ドメイン学習よりも優れた一般化性能が得られるか。
• RQ4 過去のドメイン数の増加が、生涯学習システムの性能に与える影響は何か。
• RQ5 ペナルティベースの知識注入を組み込んだベイジアン最適化フレームワークは、ナイーブベイズ、SVM、CLFといった標準ベースラインを上回る性能を発揮するか。

主な発見

• 提案されたLSCモデルは、20のドメインすべてにおいて自然なクラス分布におけるネガティブクラスのF1スコアが最高となり、NB-T、SVM-T、NB-S、SVM-S、NB-ST、SVM-ST、CLF（p < 0.01）を著しく上回った。
• バランスドなクラス分布においても、LSCは最高の正答率を達成し、以前に標準ベースラインを上回ったCLFでさえも上回った。
• 過去のドメイン数が増えるにつれて性能が向上し、システムが時間経過とともに知識を蓄積・効果的に活用できる能力を示した。
• NB-STおよびCLFに対する改善は統計的に有意（p < 0.01）であり、他のベースラインに対する改善は極めて有意（p < 0.0001）であった。
• 特にターゲットドメインで希少または未確認のセンチメント語がある場合でも、過去のドメインからのセンチメント語の極性パターンを活用することで、サンプル選択バイアスを効果的に処理した。
• 知識ベース統計（例：$ R_w $）に基づくペナルティ項の使用により、モデルは過去のセンチメント知識を維持しながら新しいデータに適応でき、安定した性能向上を達成した。