[論文レビュー] A Multi-task Learning Model for Chinese-oriented Aspect Polarity Classification and Aspect Term Extraction

Heng Yang, Biqing Zeng+3 more|arXiv (Cornell University)|Dec 17, 2019

Sentiment Analysis and Opinion Mining参考文献 35被引用数 14

ひとこと要約

本稿では、ドメイン適応型BERTとローカルコンテキストフォーカス（LCF）機構を用いて、中国語および英語のテキストにおいて、アスペクト語抽出（ATE）とアスペクト極性分類（APC）を同時に実行するマルチタスク学習モデル、LCF-ATEPCを提案する。7つのABSAデータセット（中国語4つ、英語3つ）において最先端の性能を達成し、強力な多言語的およびドメイン適応的性能を示している。

ABSTRACT

Aspect-based sentiment analysis (ABSA) task is a multi-grained task of natural language processing and consists of two subtasks: aspect term extraction (ATE) and aspect polarity classification (APC). Most of the existing work focuses on the subtask of aspect term polarity inferring and ignores the significance of aspect term extraction. Besides, the existing researches do not pay attention to the research of the Chinese-oriented ABSA task. Based on the local context focus (LCF) mechanism, this paper firstly proposes a multi-task learning model for Chinese-oriented aspect-based sentiment analysis, namely LCF-ATEPC. Compared with existing models, this model equips the capability of extracting aspect term and inferring aspect term polarity synchronously, moreover, this model is effective to analyze both Chinese and English comments simultaneously and the experiment on a multilingual mixed dataset proved its availability. By integrating the domain-adapted BERT model, the LCF-ATEPC model achieved the state-of-the-art performance of aspect term extraction and aspect polarity classification in four Chinese review datasets. Besides, the experimental results on the most commonly used SemEval-2014 task4 Restaurant and Laptop datasets outperform the state-of-the-art performance on the ATE and APC subtask.

研究の動機と目的

• アスペクトベースのセンチメント分析（ABSA）において、アスペクト語抽出（ATE）とアスペクト極性分類（APC）を統合的に同時に実行するアプローチが不足している問題に対処する。
• 中国語を対象としたABSAに特に最適化されたモデルを開発する。これは、これまで十分に研究が進んでいない分野である。
• 1つの統合フレームワーク内で中国語および英語のレビューを効果的に行える多言語処理を可能にする。
• ドメイン適応型BERTの微調整を活用して、リソースが限られたドメイン固有のABSAデータセットにおける性能を向上させる。
• 多様で現実世界のデータセットにおいて、ATEおよびAPCのサブタスクの両方で最先端の結果を達成する。

提案手法

• 共有のトランスフォーマー基盤エンコーダーを用いて、アスペクト語抽出（ATE）とアスペクト極性分類（APC）を同時に学習するマルチタスク学習フレームワークを提案する。
• アスペクト語に関連するトークンへの注目を強化するために、アスペクト語の周囲の局所的な文法的・意味的コンテキストに焦点を当てるローカルコンテキストフォーカス（LCF）機構を統合する。
• ドメイン固有のコーパス（例：YelpやAmazonのラップトップレビュー）で微調整されたドメイン適応型BERTモデルを活用し、リソースが限られたドメイン固有のABSAデータセットにおける性能を向上させる。
• BERTエンコーダー内にマルチヘッド自己注意（MHSA）を適用し、長距離依存関係と文脈的表現を捉える。
• LCF機構における注目範囲を制御するための動的しきい値戦略（SRD）を実装し、異なるデータセットにおける性能最適化を図る。
• 小規模なアノテート済みデータセット上でエンドツーエンドにモデルを学習し、転移学習を活用して限られたラベル付きデータでも高い性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 統合的なマルチタスク学習モデルは、中国語および英語のテキストにおいて、同時にアスペクト語抽出とアスペクト極性分類を効果的に行えるか？
• RQ2 ローカルコンテキストフォーカス（LCF）機構の統合は、アスペクトベースのセンチメント分析タスクの性能をどのように向上させるか？
• RQ3 ドメイン適応型BERTは、リソースが限られたドメイン固有のABSAデータセットにおけるモデルの性能をどの程度向上させるか？
• RQ4 LCF機構におけるSRDしきい値といったハイパーパrameterの変更に、モデルの性能はどの程度感受的か？言語やドメインによって差が生じるか？
• RQ5 提案されたLCF-ATEPCモデルは、複数のベンチマークデータセットにおいて、ATEおよびAPCの両タスクで最先端の性能を達成するか？

主な発見

• LCF-ATEPCモデルは中国語レビューの4つのデータセットにおいて最先端の性能を達成し、PhoneデータセットではATEでF1スコア85.24、APCで81.76を記録した。
• SemEval-2014 Restaurantデータセットでは、APCで90.01%の正答率を達成し、このベンチマークで90%を超える成績を達成した初めてのモデルである。
• LCF-ATEPC-CDMバージョンは、ドメイン適応型BERTとSRDしきい値3–6を用いることで、RestaurantデータセットでAPC F1スコア89.99を達成した。
• モデルは強力な多言語一般化性能を示し、英語（LaptopおよびRestaurant）および中国語（Phone）の両方のデータセットでベースラインBERTモデルを上回った。
• ATEタスクはSRDしきい値の変更に対してやや感受的ではなかったが、APC性能は特定のしきい値で明確なピークを示し、極性分類タスクが制御された注目範囲に大きく恩恵を受けることが示された。
• ドメイン適応型BERTは、すべてのデータセットで性能を著しく向上させた。特にRestaurantおよびLaptopデータセットで顕著な向上が見られ、リソースが限られたドメイン固有の環境において有効であることが確認された。