[論文レビュー] BERT Post-Training for Review Reading Comprehension and Aspect-based Sentiment Analysis

Hu Xu, Bing Liu+2 more|arXiv (Cornell University)|Apr 3, 2019

Sentiment Analysis and Opinion Mining参考文献 44被引用数 358

ひとこと要約

論文は、レビューに基づく読解のためのReviewRCを導入し、ドメインとタスク知識を適用してRRC、AE、ASCを改善する共同ポストトレーニング手法（BERT-PT）を提示します。従来のBERTはレビューで劣る一方、BERT-PTはタスクとドメインの両方で最先端の結果を達成します。

ABSTRACT

Question-answering plays an important role in e-commerce as it allows potential customers to actively seek crucial information about products or services to help their purchase decision making. Inspired by the recent success of machine reading comprehension (MRC) on formal documents, this paper explores the potential of turning customer reviews into a large source of knowledge that can be exploited to answer user questions.~We call this problem Review Reading Comprehension (RRC). To the best of our knowledge, no existing work has been done on RRC. In this work, we first build an RRC dataset called ReviewRC based on a popular benchmark for aspect-based sentiment analysis. Since ReviewRC has limited training examples for RRC (and also for aspect-based sentiment analysis), we then explore a novel post-training approach on the popular language model BERT to enhance the performance of fine-tuning of BERT for RRC. To show the generality of the approach, the proposed post-training is also applied to some other review-based tasks such as aspect extraction and aspect sentiment classification in aspect-based sentiment analysis. Experimental results demonstrate that the proposed post-training is highly effective. The datasets and code are available at https://www.cs.uic.edu/~hxu/.

研究の動機と目的

• Reviewリーディング理解（RRC）を、ユーザーの質問に対して製品レビューから解答スパンを抽出する課題として定義する。
• SemEvalレビューに基づくドメイン適合型の抽出型RRCデータセットであるReviewRCを作成する。
• BERTをレビューへ適応させるための共同ポストトレーニング戦略（ドメイン知識＋MRCタスク知識）を開発する。
• ポストトレーニングが、ラップトップとレストラン領域で従来のBERTを超えてRRC、AE、ASCを改善することを示す。

提案手法

• RRCを[CLS]、問い、[SEP]、レビュー、[SEP]という入力のスパン予測タスクとして定式化し、解答スパンを選択する開始点と終了点のポインタを出力する。
• レストランとラップトップのレビューに対するSQuADスタイルのReviewRCデータセット注釈を導入する。
• ドメイン知識（レビュー上のMLMとNSPを介して）とタスク知識（SQuAD由来のMRCデータ）を組み合わせ、勾配蓄積でメモリを管理するBERTポストトレーニング（BERT-PT）を提案する。
• 勾配を蓄積することで、ドメイン知識とMRCバッチを交互に実行し、共同ポストトレーニングを行うアルゴリズム1を使用する。
• RRC、AE、ASCの三つのエンドタスクに対してBERTのファインチューニングを適用する。
• DrQA、DrQA+MRC、及びさまざまなBERT変種（BERT、BERT-DK、BERT-MRC、BERT-PT）などのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: ポストトレーニングは最先端ベースラインと比較してRRC、AE、ASCをどれくらい改善するか？
• RQ2 RQ2: ドメイン/タスク適応なしの通常のBERTはレビュー系タスクでどの程度の性能か？
• RQ3 RQ3: ポストトレーニングによる利得に対するドメイン知識とタスク認識知識の寄与はどの程度か？

主な発見

• BERT-PTは三つのタスクと二つのドメイン（ラップトップとレストラン）の全てで最高の性能を示す。
• 従来のBERTはレビュー系タスクで劣るため適応が必要であることを強調する。
• ドメイン知識のポストトレーニングは主にAEを高める一方、タスク認識知識を伴うポストトレーニング（MRC）はRRCとASCに対して大きな利得を提供する（ドメインによって異なる）。
• MRCデータはASCを極性を特別なMRC問題として捉えることで効果を発揮する；RRCの境界精度は顕著に改善する。
• ドメイン知識はレストランでの効果をラップトップより高める傾向があり、Wikipediaとレビュー領域のドメインカバレッジの違いを示唆する。
• アブレーション実験は、タスクとドメインの知識がタスクとドメイン間で異なる貢献をすることを示す。