[論文レビュー] Grid Tagging Scheme for Aspect-oriented Fine-grained Opinion Extraction

Zhen Wu, Chengcan Ying+4 more|arXiv (Cornell University)|Oct 9, 2020

Sentiment Analysis and Opinion Mining参考文献 31被引用数 15

ひとこと要約

本稿では、意見ペア（アスペクト、意見）および意見トリプレット（アスペクト、意見、センチメント）抽出を統一的なグリッドタギングタスクに統合する、エンドツーエンドの新規フレームワークであるグリッドタギングスキーム（GTS）を提案する。設計された推論戦略により意見要因同士の相互依存関係を活用することで、CNN、BiLSTM、BERTに基づくGTSモデルは、OPEおよびOTEベンチマークの両方で強力なパイプラインベースラインを上回る最先端の性能を達成する。

ABSTRACT

Aspect-oriented Fine-grained Opinion Extraction (AFOE) aims at extracting aspect terms and opinion terms from review in the form of opinion pairs or additionally extracting sentiment polarity of aspect term to form opinion triplet. Because of containing several opinion factors, the complete AFOE task is usually divided into multiple subtasks and achieved in the pipeline. However, pipeline approaches easily suffer from error propagation and inconvenience in real-world scenarios. To this end, we propose a novel tagging scheme, Grid Tagging Scheme (GTS), to address the AFOE task in an end-to-end fashion only with one unified grid tagging task. Additionally, we design an effective inference strategy on GTS to exploit mutual indication between different opinion factors for more accurate extractions. To validate the feasibility and compatibility of GTS, we implement three different GTS models respectively based on CNN, BiLSTM, and BERT, and conduct experiments on the aspect-oriented opinion pair extraction and opinion triplet extraction datasets. Extensive experimental results indicate that GTS models outperform strong baselines significantly and achieve state-of-the-art performance.

研究の動機と目的

• アスペクト指向の細分化された意見抽出（AFOE）におけるパイプライン手法の誤差伝搬と非効率性を解消すること。
• 意見ペア（OPE）と意見トリプレット（OTE）抽出を、1つのエンドツーエンドタギングタスクに統合すること。
• アスペクト語、意見語、センチメント極性の間の相互依存関係を活用して抽出精度を向上させること。
• 相互指示を活用することで予測を強化する、互換性があり効果的な推論戦略を設計すること。
• GTSの実現可能性と優位性を、さまざまなニューラルアーキテクチャ（CNN、BiLSTM、BERT）で検証すること。

提案手法

• 文内のすべての語ペアに対して統一的なグリッドタギングタスクに変換する、グリッドタギングスキーム（GTS）を提案。
• 各語ペアの関係をグリッド内のラベルとして表現し、潜在的なアスペクト-意見関係またはアスペクト-意見-センチメント関係をエンコード。
• グリッド予測から一度に有効な意見ペアまたはトリプレットを抽出するデコードアルゴリズムを設計。
• アスペクト語、意見語、センチメント極性の間の相互指示を活用して、反復的に予測を精緻化する推論戦略を導入。
• CNN、BiLSTM、BERTを用いた3つのGTSモデルを実装し、アーキテクチャ間での互換性と有効性を実証。
• グリッドタギングフレームワーク内でペア関係検出をセンチメント極性分類に置き換えることで、OTEにGTSを拡張。

実験結果

リサーチクエスチョン

• RQ1 統一的なグリッドタギングスキームは、アスペクト指向の意見抽出におけるマルチステージパイプライン手法に効果的に代替可能か？
• RQ2 提案された推論戦略は、意見要因間の相互依存関係を活用することで、抽出精度をどのように向上させるか？
• RQ3 異なるニューラルアーキテクチャ（CNN、BiLSTM、BERT）が、OPEおよびOTEタスクにおけるGTS性能に与える影響は何か？
• RQ4 推論時間の変動が、GTSモデルの性能にどのように影響するか？
• RQ5 GTSは、意見ペア抽出および意見トリプレット抽出の両ベンチマークで最先端の結果を達成できるか？

主な発見

• GTSモデルは、両方の意見ペア抽出（OPE）および意見トリプレット抽出（OTE）タスクにおいて、強力なパイプラインベースラインを著しく上回る。
• GTS-CNNは14LAPデータセットで69.39%のF1を達成し、最良のベースラインを大きく上回った。
• 推論戦略により、OPEでは最大2.33%のF1向上が達成され、要因間の相関を活用する有効性が裏付けられた。
• GTS-BERTは1回の推論イテレーションでピーク性能を達成しており、BERTの豊富な文脈表現が複数の推論ステップの必要性を低減していることを示している。
• アブレーションスタディにより、推論戦略を削除すると顕著な性能低下が生じ、その重要性が検証された。
• グリッドタギングフレームワークは、CNN、BiLSTM、BERTベースのGTSモデルで一貫したSOTA結果を示しており、多様なアーキテクチャとの互換性が裏付けられた。