[論文レビュー] An Iterative Knowledge Transfer Network with Routing for Aspect-based Sentiment Analysis

Yunlong Liang, Fandong Meng+4 more|arXiv (Cornell University)|Apr 4, 2020

Sentiment Analysis and Opinion Mining参考文献 21被引用数 9

ひとこと要約

本稿では、エッジ・トピック抽出、オピinion・トピック抽出、センチメント分類の3つのサブタスク間で、タスク固有の知識を反復的に転送するルーティング機構を活用した反復的知識転送ネットワーク（IKTN）を提案する。文書レベルの言語的知識の選択的転送も併せて実施する。本手法は、サブタスク間の意味的依存関係を活用し、特徴的な知識転送を実現することで、3つのベンチマークデータセットにおいて最先端の手法を著しく上回る性能を達成する。

ABSTRACT

Aspect-based sentiment analysis (ABSA) mainly involves three subtasks: aspect term extraction, opinion term extraction and aspect-level sentiment classification, which are typically handled separately or (partially) jointly. However, the semantic interrelationships among all the three subtasks are not well exploited in previous approaches, which restricts their performance. Additionally, the linguistic knowledge from document-level labeled sentiment corpora is usually used in a coarse way for the ABSA. To address these issues, we propose a novel Iterative Knowledge Transfer Network (IKTN) for the end-to-end ABSA. For one thing, to fully exploit the semantic correlations among the three aspect-level subtasks for mutual promotion, the IKTN transfers the task-specific knowledge from any two of the three subtasks to another one by leveraging a specially-designed routing algorithm, that is, any two of the three subtasks will help the third one. Besides, the IKTN discriminately transfers the document-level linguistic knowledge, i.e., domain-specific and sentiment-related knowledge, to the aspect-level subtasks to benefit the corresponding ones. Experimental results on three benchmark datasets demonstrate the effectiveness of our approach, which significantly outperforms existing state-of-the-art methods.

研究の動機と目的

• エッジ・トピック抽出、オピinion・トピック抽出、およびエッジレベルのセンチメント分類という、感情分析の3大サブタスク間における意味的関係の限界的な活用を是正すること。
• ドキュメントレベルの言語的知識（特にドメイン固有およびセンチメント関連の知識）を、エッジレベルのサブタスクに的確に転送することで、その利用を向上させること。
• 3つのサブタスクが反復的知識転送を通じて相互に促進し合うことのできる統合的でエンドツーエンドのフレームワークを構築すること。
• 従来の手法が粗い粒度または静的知識統合に依存するため、性能向上が制限されるという問題を克服すること。

提案手法

• IKTNは、特別に設計されたルーティングアルゴリズムを採用し、3つのサブタスク間で双方向的かつ反復的な知識転送を可能にし、任意の2つのサブタスクがタスク固有の知識を通じて残りの1つを支援できるようにする。
• ルーティング機構は、2つのサブタスクから3番目のサブタスクへ関連する知識を動的に同定・転送し、相互学習と意味的整合性の向上を促進する。
• ドキュメントレベルの言語的知識は、関連性に基づき選択的にエッジレベルのサブタスクへ転送され、特にドメイン固有およびセンチメント関連の特徴に焦点を当てる。
• モデルはエンドツーエンドで訓練され、3つのサブタスクを1つのニューラルアーキテクチャに統合することで、共同最適化と文脈的一致性を確保する。
• 知識転送は反復的に行われ、複数ラウンドのフィードバックを通じてサブタスク全体の予測を段階的に改善する。
• アテンション機構とシーケンスモデリングを活用し、長距離依存関係を保持するとともに、表現品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 エッジ・トピック抽出、オピinion・トピック抽出、およびセンチメント分類の間の意味的依存関係を効果的に活用することで、全体のABSアプローチの性能をどのように向上させられるか？
• RQ2 サブタスク間で反復的かつ双方向的な知識転送が、エッジベースセンチメント分析の正確性と頑健性に与える影響は何か？
• RQ3 特にセンチメント関連およびドメイン固有の知識を含むドキュメントレベルの言語的知識を的確に転送することで、エッジレベルのサブタスク性能を向上させられるか？
• RQ4 提案されたIKTNは、ABS用の標準ベンチマークデータセットにおいて、既存の最先端手法をどの程度上回るか？

主な発見

• IKTNは、エッジベースセンチメント分析の3つのベンチマークデータセットにおいて、既存の最先端手法を著しく上回る性能を達成する。
• 反復的知識転送機構により、エッジ・トピック抽出、オピinion・トピック抽出、およびセンチメント分類の3つのサブタスクすべてで一貫した性能向上が見られた。
• ドキュメントレベルの言語的知識の的確な転送により、エッジレベルでセンチメント関連およびドメイン固有のパターンを捉える能力が向上した。
• ルーティングベースの知識転送戦略は、サブタスク間の意味的相関を効果的に捉え、相互促進と一般化性能の向上を実現した。
• 反復的フィードバックを伴うエンドツーエンドの訓練フレームワークは、サブタスクを別々に処理するか、静的知識統合を行うモデルと比較して優れた結果をもたらした。
• 実験的結果は、提案手法が最先端の性能を達成しており、知識転送およびルーティング機構の有効性を裏付けている。