[論文レビュー] Leveraging Just a Few Keywords for Fine-Grained Aspect Detection Through Weakly Supervised Co-Training

Giannis Karamanolakis, Daniel Hsu+1 more|arXiv (Cornell University)|Sep 1, 2019

Sentiment Analysis and Opinion Mining参考文献 47被引用数 4

ひとこと要約

本稿では、各アスペクトあたりほんの数個のシードワードのみを用いて、洗練されたニューラルモデルを用いた細分化されたアスペクト検出を実現する弱教師付きの学生・教師コトレイニングフレームワークを提案する。ボックストゥル・ワード教師モデルがニューラル学生モデルをガイドし、コトレイニングを通じて反復的にシードワードの品質を向上させることで、12の多様なデータセット全体で先行する弱教師付き手法と比較して14.1ポイントの絶対的F1スコアの向上を達成した。

ABSTRACT

User-generated reviews can be decomposed into fine-grained segments (e.g., sentences, clauses), each evaluating a different aspect of the principal entity (e.g., price, quality, appearance). Automatically detecting these aspects can be useful for both users and downstream opinion mining applications. Current supervised approaches for learning aspect classifiers require many fine-grained aspect labels, which are labor-intensive to obtain. And, unfortunately, unsupervised topic models often fail to capture the aspects of interest. In this work, we consider weakly supervised approaches for training aspect classifiers that only require the user to provide a small set of seed words (i.e., weakly positive indicators) for the aspects of interest. First, we show that current weakly supervised approaches do not effectively leverage the predictive power of seed words for aspect detection. Next, we propose a student-teacher approach that effectively leverages seed words in a bag-of-words classifier (teacher); in turn, we use the teacher to train a second model (student) that is potentially more powerful (e.g., a neural network that uses pre-trained word embeddings). Finally, we show that iterative co-training can be used to cope with noisy seed words, leading to both improved teacher and student models. Our proposed approach consistently outperforms previous weakly supervised approaches (by 14.1 absolute F1 points on average) in six different domains of product reviews and six multilingual datasets of restaurant reviews.

研究の動機と目的

• 完全なアノテーションが高コストなため実行不可能な状況下で、レビューにおける細分化されたアスペクト検出の課題に対処すること。
• 既存の弱教師付き手法が、アスペクト検出に向けたシードワードを効果的に活用できないという問題を改善すること。
• 先行手法よりも効果的にシードワードを活用する学生・教師コトレイニングフレームワークを構築すること。
• シードワードがノイズが多いか不正確であっても、少数のシードワードのみで堅牢なアスペクト検出を可能にすること。
• 多様なドメインおよび多言語環境において一貫した性能向上を示すこと。

提案手法

• ボックストゥル・ワード分類器（教師）は、個々のシードワードをノイズの多い指標として用い、それぞれのシードワードを弱い信号として扱う。
• 教師モデルは、ラベルなしのレビュー断片についてアスペクトの確率を生成し、それをより強力な学生モデル（例：事前学習済み埋め込みを用いたニューラルネットワーク）の弱教師付き学習に用いる。
• 学生モデルは、入力内のシードワードと非シードワードの両方から学習することで、教師モデルよりも一般化性能が優れている。
• 反復的なコトレイニングは、学生の予測を用いて教師のシードワード品質の推定を改善し、改善された教師出力を用いて学生を再訓練するというプロセスを交互に繰り返す。
• 学生・教師の不一致を分析することで、シードワード品質を教師なしでモデル化し、手動によるシードワード重み付けへの依存度を低減する。
• このフレームワークは多言語およびクロスドメインのアスペクト検出をサポートし、シードワードの説明が可能な任意の分類タスクに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 ほんの数個のシードワードのみを用いた弱教師付きアプローチが、細分化されたアスペクト検出で最先端の性能を達成できるか？
• RQ2 現在の弱教師付き手法がシードワードを集合的信号として扱うのとは異なり、シードワードをより効果的に活用する方法は何か？
• RQ3 学生・教師コトレイニングフレームワークにより、学生が教師の限られた信号を超えて一般化できるようになることで、性能が向上するか？
• RQ4 反復的なコトレイニングにより、教師なしでノイズの多いシードワードの品質を向上させ、教師および学生モデルの両方の性能を改善できるか？
• RQ5 提案手法は、多様なドメインおよび多言語環境においてどの程度一般化可能か？

主な発見

• 提案手法は、6つの製品レビューおよび6つの多言語レストランレビューを含む12のデータセット全体で、先行する弱教師付き手法と比較して平均14.1ポイントの絶対的F1スコア向上を達成した。
• BERTベースの学生モデルを用いた製品レビューにおいて、反復的コトレイニングにより教師モデルの性能が最大12.3%向上した。これは、シードワード品質の推定を改善した結果である。
• 学生モデルは一貫して教師モデルを上回る性能を示しており、非シードワードからの一般化が性能向上に顕著に寄与していることを示している。
• 学生の入力からシードワードを削除した場合（RSWベースライン）でも有意義な性能が得られたことから、非シードワードがアスペクト検出においても予測力を持つことが示された。
• 性能向上は最初の2回のコトレイニングラウンドで最も顕著であり、シードワード品質の迅速な収束と効果的な改善が示された。
• 本手法はドメインおよび言語の違いに対して堅牢であり、英語および非英語環境（例：フランス語、スペイン語）の両方で一貫した改善が観察された。