[論文レビュー] Adapt or Get Left Behind: Domain Adaptation through BERT Language Model Finetuning for Aspect-Target Sentiment Classification

Alexander Rietzler, Sebastian Stabinger+2 more|arXiv (Cornell University)|Aug 30, 2019

Sentiment Analysis and Opinion Mining参考文献 20被引用数 132

ひとこと要約

本論文は、BERT のドメイン特化ファインチューニングとその後の監視付き ATSC 学習という2段階アプローチを提案し、SemEval 2014 レストランデータセットで新しい最先端の結果を達成するとともに、ノートpcからレストランへのクロスドメイン転送およびその逆の堅牢な転送性を示しています。

ABSTRACT

Aspect-Target Sentiment Classification (ATSC) is a subtask of Aspect-Based Sentiment Analysis (ABSA), which has many applications e.g. in e-commerce, where data and insights from reviews can be leveraged to create value for businesses and customers. Recently, deep transfer-learning methods have been applied successfully to a myriad of Natural Language Processing (NLP) tasks, including ATSC. Building on top of the prominent BERT language model, we approach ATSC using a two-step procedure: self-supervised domain-specific BERT language model finetuning, followed by supervised task-specific finetuning. Our findings on how to best exploit domain-specific language model finetuning enable us to produce new state-of-the-art performance on the SemEval 2014 Task 4 restaurants dataset. In addition, to explore the real-world robustness of our models, we perform cross-domain evaluation. We show that a cross-domain adapted BERT language model performs significantly better than strong baseline models like vanilla BERT-base and XLNet-base. Finally, we conduct a case study to interpret model prediction errors.

研究の動機と目的

• ABSA 内の細粒度感情タスクとして ATSC を動機づけ、実世界の応用におけるドメインシフトに対処する。
• BERT のドメイン特化自己教師付きファインチューニングが ATSC の性能に与える影響を調査する。
• レストランとノートパソコンのドメイン間でのクロスドメイン転送とジョイントドメイン学習を評価し、ロバスト性を検証する。

提案手法

• 2段階の手順: BERT 言語モデルのドメイン特化自己教師付きファインチューニング、次に監督付き ATSC ファインチューニング。
• ATSC を BERT のシーケンス対分類に変換し、[CLS] 文 [SEP] ターゲット [SEP] を入力として用いる。
• ファインチューニングのドメイン（レストラン、ノートパソコン、または両方）と学習設定（同一ドメイン、クロスドメイン、ジョイントドメイン）を体系的に変化させる。
• 入力削減を用いてモデル予測を解釈し、誤りを分析する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: ドメインデータに対する BERT 言語モデルのファインチューニング量は ATSC の性能にどう影響するか？
• RQ2 RQ2: ドメイン特化ファインチューニングを最大限活用した場合、同一ドメインのトレーニングで達成可能な ATSC の性能はどの程度か？
• RQ3 RQ3: クロスドメイン適応（ターゲットドメイン LM のファインチューニングモデル）は、同一ドメインのベースラインと比較して ATSC の性能にどう影響するか？
• RQ4 RQ4: ジョイントドメイン学習はドメイン横断の性能を向上させるか？
• RQ5 RQ5: ドメイン適応後に残る誤りの種類は何か、そして解釈はそれを理解するのにどう役立つか？

主な発見

• ドメイン特化 LM のファインチューニングは ATSC の精度を大幅に向上させ、ファインチューニング文の tens of millions 後にはドメインによって利得が漸減する。
• ドメイン適用済みLMを用いた同一ドメインの結果はレストランとノートパソコンの双方で最先端に近づき、特にレストランで新たなSOTAを達成（87.14% の精度）。
• クロスドメイン適応（ターゲットドメインの LM ファインチューニングモデル）は BERT-base を一貫して上回り、例えばソース/ターゲットの組み合わせに応じて +2.2–3.6 ポイントの利得。
• ジョイントドメイン学習（Laptops+Restaurants）は macro-F1 をさらに改善し、特に中立クラスの性能が向上する不均衡データセットで顕著。
• 入力削減によるケーススタディは、ドメイン適応モデルが文脈依存の感情表現や否定表現をより適切に捉える一方で、中立ケースは依然として困難であることを示す。