[論文レビュー] Incremental Active Opinion Learning Over a Stream of Opinionated Documents

Max Zimmermann, Eirini Ntoutsi+1 more|arXiv (Cornell University)|Sep 3, 2015

Machine Learning and Algorithms参考文献 30被引用数 7

ひとこと要約

本稿では、変化する意見文書ストリームにおけるセンチメント極性検出のためのインクリメンタルなアクティブラーニングフレームワークであるACOSTREAMを提案する。マルチノミアル・ナイーブベイズ分類器を用い、情報ゲインおよび不確実性に基づくアクティブサンプリング戦略を採用することで、ラベル取得を最小限に抑えつつ高い性能を維持する。TwitterSentimentではわずか52%のラベルで優れた結果を達成し、コンセプトドリフトに対しても安定した適応性を示した。

ABSTRACT

Applications that learn from opinionated documents, like tweets or product reviews, face two challenges. First, the opinionated documents constitute an evolving stream, where both the author's attitude and the vocabulary itself may change. Second, labels of documents are scarce and labels of words are unreliable, because the sentiment of a word depends on the (unknown) context in the author's mind. Most of the research on mining over opinionated streams focuses on the first aspect of the problem, whereas for the second a continuous supply of labels from the stream is assumed. Such an assumption though is utopian as the stream is infinite and the labeling cost is prohibitive. To this end, we investigate the potential of active stream learning algorithms that ask for labels on demand. Our proposed ACOSTREAM 1 approach works with limited labels: it uses an initial seed of labeled documents, occasionally requests additional labels for documents from the human expert and incrementally adapts to the underlying stream while exploiting the available labeled documents. In its core, ACOSTREAM consists of a MNB classifier coupled with "sampling" strategies for requesting class labels for new unlabeled documents. In the experiments, we evaluate the classifier performance over time by varying: (a) the class distribution of the opinionated stream, while assuming that the set of the words in the vocabulary is fixed but their polarities may change with the class distribution; and (b) the number of unknown words arriving at each moment, while the class polarity may also change. Our results show that active learning on a stream of opinionated documents, delivers good performance while requiring a small selection of labels

研究の動機と目的

• ラベル付きデータが乏しく、コンセプトドリフトが生じるリアルタイムのストリームにおいてセンチメント極性を学習する課題に対処すること。
• 必要最小限のラベル取得のみを実行するアクティブラーニングフレームワークを構築し、継続的なラベル付けに依存しないようにすること。
• 意見ストリームにおける語彙の変化やセンチメント分布のシフトにもかかわらず、モデルの正確性と適応性を維持すること。
• ラベル使用量を最小限に抑えつつパフォーマンスを最大化するための異なるサンプリング戦略の有効性を評価すること。
• フルリトレーニングなしにインクリメンタルなモデル更新を可能とし、大規模なストリーミング環境におけるスケーラビリティを支援すること。

提案手法

• ACOSTREAMは、マルチノミアル・ナイーブベイズ（MNB）分類器を用い、時間の経過に伴ってクラスおよび語彙-クラス統計を段階的に維持する。
• 不確実性サンプリングおよび情報ゲインに基づくサンプリングの2つのアクティブサンプリング戦略を用い、人間によるラベル付けの対象となる文書を選択する。
• フレームワークはインクリメンタルに動作し、フルリトレーニングなしに新たにラベル付けされた文書でモデルを更新する。
• ラベル取得は、モデルの不確実性または期待される情報ゲインに基づいてトリガーされ、必要なラベル数を削減する。
• 新しいデータの到着に伴い語彙が変化する中で、文書の極性を再評価することで、コンセプトドリフトに動的に適応する。
• 初期のラベル付き文書のシードを用い、その後は性能維持のためのオンデマンドラベル要求を実施する。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付きデータを伴う変化するストリームにおいて、アクティブラーニングをセンチメント極性検出に効果的に適用する方法は何か？
• RQ2 ストリーミング環境において、不確実性と情報ゲインのどちらのサンプリング戦略が、より少ないラベルで優れたパフォーマンスを達成するか？
• RQ3 インクリメンタルラーニングフレームワークは、コンセプトドリフトの存在下で、ラベル取得を最小限に抑えながら正確性を維持できるか、どの程度の水準まで可能か？
• RQ4 語彙の成長やセンチメント分布のシフトが変化する条件下で、システムの性能はどのように変化するか？
• RQ5 アクティブラーニングは、センチメントパターンの進化に適応できる能力を損なわず、ラベル付けコストを削減できるか？

主な発見

• 情報ゲインサンプリングを用いた場合、TwitterSentimentではわずか52%のラベルで競争力のあるパフォーマンスを達成し、ランダムサンプリングや不確実性ベースのサンプリングを上回った。
• StreamJiデータセットでは、情報ゲインサンプリングが高精度を維持しながらも、ラベルの33%しか必要としなかった。これは、ラベル使用の効率性を示している。
• 不確実性サンプリングは性能が低く、TwitterSentimentでACOSTREAMのパフォーマンスに並ぶには最大で88%のラベルが必要だった。
• 語彙の変化やコンセプトドリフトが進行する中でも、両ストリームで安定したパフォーマンスを示し、強力な適応性を示した。
• 不確実性閾値αを引き上げることでパフォーマンスが向上したが、その代わりにラベル消費量が増加した。特にStreamJiでは、閾値の差がTwitterSentimentよりも顕著に現れた。
• ACOSTREAMのインクリメンタルアップデート機構により、フルリトレーニングなしに変化するセンチメント分布に一貫して適応でき、最小限のラベルコストで高い正確性を維持した。