[論文レビュー] Controlled CNN-based Sequence Labeling for Aspect Extraction

Lei Shu, Hu Xu+1 more|arXiv (Cornell University)|May 15, 2019

Sentiment Analysis and Opinion Mining参考文献 45被引用数 6

ひとこと要約

本稿では、過学習を防ぎ、性能を向上させるために、制御モジュールとCNN層の間で非同期的なパrameter更新を採用する、制御付きCNNベースのアスペクト抽出モデルであるCtrlを提案する。埋め込み制御モジュールとCNN制御モジュールを導入し、訓練中にノイズを注入することで、SemEval-14 Laptopデータセットで82.73%、SemEval-16 Restaurantデータセットで75.64%という最先端のF1スコアを達成し、従来のCNNおよび非CNN手法を上回った。

ABSTRACT

One key task of fine-grained sentiment analysis on reviews is to extract aspects or features that users have expressed opinions on. This paper focuses on supervised aspect extraction using a modified CNN called controlled CNN (Ctrl). The modified CNN has two types of control modules. Through asynchronous parameter updating, it prevents over-fitting and boosts CNN's performance significantly. This model achieves state-of-the-art results on standard aspect extraction datasets. To the best of our knowledge, this is the first paper to apply control modules to aspect extraction.

研究の動機と目的

• 訓練中に教師ありCNNベースのアスペクト抽出モデルで発生する過学習を緩和すること。
• 細粒度センチメント分析における系列ラベル付けタスクにおいて、CNNの汎化性能と性能を向上させること。
• 制御モジュールを深層学習における系列ラベル付けの正則化機構として活用することの可能性を検討すること。
• 制御モジュールとCNN層の間で非同期的なパrameter更新が、モデルのロバスト性と精度を向上させることを示すこと。
• 従来の同期学習および既存のベースラインを上回る、新たな訓練パラダイムを確立すること。

提案手法

• 各層の入力にノイズを注入するための2種類の制御モジュールを導入：埋め込み層の直後に配置する埋め込み制御モジュールと、CNN層の間に配置するCNN制御モジュール。
• 非同期学習戦略を採用：まず制御モジュールを固定し、CNN層を最適化する。次にCNN層を固定し、制御モジュールを最適化するという、交互に繰り返すステップを実施。
• 各訓練フェーズで検証性能に基づいて早期停止を適用し、過学習を防止する。
• ベースアーキテクチャとしてDE-CNNの二重埋め込み機構を採用し、構造を保持したまま制御モジュールを追加。
• 二段階の最適化プロセスを採用：(1) 固定された制御モジュールからのノイズ入力を用いてCNN層を学習、(2) 固定されたCNN層上で制御モジュールを精緻化。
• 制御モジュール内で学習可能なパrameterを有する線形変換を用い、層の入力を適応的に調整する。

実験結果

リサーチクエスチョン

• RQ1 制御モジュールとCNN層の間で非同期学習を実施することで、アスペクト抽出における汎化性能が向上するか？
• RQ2 制御モジュールによるノイズ注入が、CNNベースの系列ラベル付けモデルにおける過学習を軽減するか？
• RQ3 単純な制御モジュール機構が、BiLSTM-CRF や BERT といったより複雑なアーキテクチャを上回る性能を発揮できるか？
• RQ4 訓練戦略の選択（同期的 vs. 非同期的）が、モデルの性能および収束に与える影響は何か？
• RQ5 提案された制御モジュール機構は、さまざまなアスペクト抽出データセットにわたり有効であるか？

主な発見

• CtrlはSemEval-14 Laptopデータセットで82.73%という最先端のF1スコアを達成し、前回の最先端手法であるDE-CNN（81.59%）を顕著に上回った。
• SemEval-16 Restaurantデータセットでは、F1スコア75.64%を達成し、DE-CNN（74.37%）および他の比較手法をすべて上回った。
• 同期更新を採用するCtrl-バージョンは、DE-CNNでさえも下回り、制御モジュールを用いた同期学習が性能向上に寄与しないことを示した。
• Ctrl-の性能はCtrlよりも劣っており、CNN層をランダム初期化した状態で訓練を実施した場合の非最適性と、非同期学習が不可欠であることを示した。
• 訓練曲線から、Ctrlの検証損失は安定化し、増加しないことが確認され、過学習の効果的制御が図られていることが示された。一方、Ctrl-では検証損失が増加しており、過学習の兆候であった。
• 非同期学習プロセスにより、2段階目の訓練中にテスト性能が継続的に向上しており、交互最適化戦略の有効性が裏付けられた。