[論文レビュー] From the Token to the Review: A Hierarchical Multimodal approach to Opinion Mining

Alexandre Garcia, Pierre Colombo+3 more|arXiv (Cornell University)|Aug 29, 2019

Topic Modeling参考文献 40被引用数 11

ひとこと要約

本稿では、複数の粒度（トークン、文、テキスト）で、感情極性やターゲットなどの細分化された意見コンponentsを共同で予測する階層的マルチモodalニューラルネットワークを提案する。このモデルは、異なる粒度間で共有される表現を活用し、より洗練された予測を実現する。新たに公開されたマルチモーダルな意見抽出コーパスにおいて、より簡単な低レベルのタスクから段階的に学習を進めるカリキュラム学習戦略を用いることで、ノイズが多くて不規則な spoken 言語データに対しても、高い耐性を示し、最先端の性能を達成した。

ABSTRACT

The task of predicting fine grained user opinion based on spontaneous spoken language is a key problem arising in the development of Computational Agents as well as in the development of social network based opinion miners. Unfortunately, gathering reliable data on which a model can be trained is notoriously difficult and existing works rely only on coarsely labeled opinions. In this work we aim at bridging the gap separating fine grained opinion models already developed for written language and coarse grained models developed for spontaneous multimodal opinion mining. We take advantage of the implicit hierarchical structure of opinions to build a joint fine and coarse grained opinion model that exploits different views of the opinion expression. The resulting model shares some properties with attention-based models and is shown to provide competitive results on a recently released multimodal fine grained annotated corpus.

研究の動機と目的

• 書かれたテキストにおける細分化された意見モデリングと、不規則なマルチモーダルな spoken 言語における粗い粒度のモデルとの間のギャップを埋める。
• spoken 言語における信頼性の低い細分化されたアノテーションに対処するため、階層的でマルチグレインの監視を活用する。
• 複数の意見コンponentsを共同でモデリングすることで、リソースが限られたノイズの多い spoken 言語環境における意見予測性能を向上させる。
• カリキュラム学習（より簡単な低レベルのタスクから、より難しい抽象的なタスクへ段階的に学習する戦略）が、マルチモーダルな意見抽出において性能向上に寄与するかどうかを検証する。
• 感情極性と意見ターゲットの共同予測が、誤差伝搬の低減と一般化性能の向上に寄与するかどうかを評価する。

提案手法

• モデルは、テキスト、音声、映像といったマルチモーダル入力を、複数のレベル（トークン、文、レビュー）で処理する階層的ニューラルネットワークアーキテクチャを採用する。
• カリキュラム学習戦略を採用し、まずトークンレベルの感情極性予測、次に文レベル、最後にレビューレベルのタスクを順に学習することで、一般化性能を向上させる。
• 適応的損失重み付けを用いて複数の目的関数を同時に最適化し、ハイパーパrameterは検証データを用いて調整して各タスクの重要度をバランスさせる。
• 異なるレベル間で表現を共有することで、低レベルから高レベルへの知識の転送を可能にする。
• 関連する言語的およびマルチモーダルな手がかりに注目するためのアテンション機構を組み込み、解釈可能性と性能の両方を向上させる。
• 分類タスクと回帰タスクにそれぞれ交差エントロピー損失と平均絶対誤差（MAE）損失を組み合わせ、エンドツーエンドで学習を行う。

実験結果

リサーチクエスチョン

• RQ1 限られた細分化されたアノテーションがあるマルチモーダルな spoken 言語環境において、階層的でマルチグレインのアプローチが意見抽出の性能向上に寄与するか？
• RQ2 より簡単な低レベルのタスクから学習を開始するカリキュラム学習戦略が、標準的な共同学習と比較して性能を向上させるか？
• RQ3 感情極性と意見ターゲットの共同予測は、独立した予測と比較して、モデルの耐性と正確性をどの程度向上させるか？
• RQ4 複数の目的関数にわたる適応的損失重み付けは、マルチモーダルな意見抽出における収束性と性能にどのように影響を与えるか？
• RQ5 アテンション機構は、リソースが限られたノイズの多い spoken 言語の意見抽出において、解釈可能性と性能を向上させるか？

主な発見

• 最適な損失重み戦略を用いることで、レビュー単位のMAEスコアは0.14に達し、ベースラインを上回った。
• 損失重みの滑らかな遷移（S1およびS2）を採用したカリキュラム学習戦略が、急激な遷移よりも優れた結果をもたらし、特にS1が最良の性能を示した。
• エンティティと極性の共同予測により、大多数のエンティティカテゴリでF1スコアが向上し、「全体」と「脚本」のエンティティで相対的に5%の改善が得られた。
• エンティティ予測タスクは、極性の監視のおかげで多くのカテゴリで利益を享受したが、「ビジュアルおよび特殊効果」を除き、性能がわずかに低下した。
• 感情極性の予測では、トークンレベルで0.93のF1スコア、文レベルで0.75のF1スコアを達成し、感情分類の性能が優れていることが示された。
• 最適な損失重みは（λ_token = 0.05, λ_sentence = 0.5, λ_text = 1）であった。これは、最終的な性能にとってテキストレベルの監視が最も重要であることを示している。