[論文レビュー] Conditional Augmentation for Aspect Term Extraction via Masked Sequence-to-Sequence Generation

Kun Li, Chengbo Chen+3 more|arXiv (Cornell University)|Apr 30, 2020

Sentiment Analysis and Opinion Mining参考文献 34被引用数 4

ひとこと要約

本稿では、マスクされたシーケンス・トゥ・シーケンス生成を用いた制御可能なデータ拡張手法を提案する。この手法では、レビュー文のマスクされたセグメントを元のアスペクトラベルを保持したまま再構築するモデルを用いる。本手法により、低リソースなATEベンチマークにおいて、多様で流暢でラベル整合性のある訓練例を生成し、モデル性能が顕著に向上する。

ABSTRACT

Aspect term extraction aims to extract aspect terms from review texts as opinion targets for sentiment analysis. One of the big challenges with this task is the lack of sufficient annotated data. While data augmentation is potentially an effective technique to address the above issue, it is uncontrollable as it may change aspect words and aspect labels unexpectedly. In this paper, we formulate the data augmentation as a conditional generation task: generating a new sentence while preserving the original opinion targets and labels. We propose a masked sequence-to-sequence method for conditional augmentation of aspect term extraction. Unlike existing augmentation approaches, ours is controllable and allows us to generate more diversified sentences. Experimental results confirm that our method alleviates the data scarcity problem significantly. It also effectively boosts the performances of several current models for aspect term extraction.

研究の動機と目的

• アスペクト項抽出（ATE）におけるデータ不足の課題に対処するため、制御可能なデータ拡張技術を開発すること。
• 生成された文が元のアスペクト項ラベルを保持し、元の意見対象が有効なアスペクト項のまま保たれることを保証すること。
• GAN、VAE、語彙置換などの従来手法の限界（多様性や文脈的一致性の欠如）を克服し、より多様で文脈的に整合性のある文の生成を可能にすること。
• この特定の拡張タスクにおいて、BERT や GPT-2 などの代替言語モデルよりも、マスクされたシーケンス・トゥ・シーケンスモデリングによる条件付き生成が優れていることを示すこと。
• このフレームワークを、名前付きエンティティ認識やチャンキングなどの他の低リソースシーケンスラベルリングタスクへも応用可能であるようにすること。

提案手法

• データ拡張を、部分的にマスクされた入力とその対応するラベルシーケンスを条件として与えた際の条件付きシーケンス・トゥ・シーケンス生成タスクとして定式化する。
• MASS に類似したマスクされたシーケンス・トゥ・シーケンス事前学習を用いた、トランスフォーマーに基づくエンコーダ・デコーダアーキテクチャを採用し、文脈に配慮したラベル条件付き生成を可能にする。
• 入力文の複数の連続するトークンをマスクし、モデルがコンテキストとラベルシーケンスを条件信号として用いて、マスクされた部分を再構築するように学習する。
• ラベル情報をエンコーダ入力に統合することで、生成された文においてアスペクト語が有効な意見対象のまま保たれることを保証する。
• 再構築タスクにおける標準的なクロスエントロピー損失を用いて、エンド・ツー・エンドにモデルを訓練し、多様で流暢な文の自己回帰的生成を可能にする。
• 本手法を語彙置換ベースの拡張（WordNetの同義語を用いる）および微調整済みBERT/GPT-2バージョンと比較し、流暢さ、多様性、ラベル整合性の面で優位性を検証する。

実験結果

リサーチクエスチョン

• RQ1 マスクされたシーケンス・トゥ・シーケンス生成は、アスペクト項抽出のデータ拡張に適した、多様で流暢でラベル整合性のある文の生成に効果的に利用可能か？
• RQ2 GAN、VAE、語彙置換ベースの手法と比較して、本手法はアスペクト項ラベルの保持と文の整合性をどの程度維持できるか？
• RQ3 なぜ、マスクされたシーケンス・トゥ・シーケンス学習を用いたエンコーダ・デコーダフレームワークが、この条件付き生成タスクにおいてBERT や GPT-2 より優れているのか？
• RQ4 本手法による拡張は、低リソースデータセットにおける下流のATEモデルの性能をどの程度向上させるか？
• RQ5 このフレームワークは、アスペクト項抽出を越えて、名前付きエンティティ認識やチャンキングなどの他の低リソースシーケンスラベルリングタスクへ一般化可能か？

主な発見

• 提案手法は、2つのベンチマークATEデータセットにおいて、より多様でラベル整合性のある訓練例を生成することで、F1スコアを顕著に向上させた。
• 語彙置換ベースの手法に比べ、本手法は流暢さとBLEUスコアが高く、同義語の可用性や文脈に依存しない語の置換による制限を受けていない。
• GPT-2はエンコーダが欠落しているため、制御不能な生成となり、ラベルシーケンスと一致しないため、性能が著しく劣った。
• BERTは、各トークンを独立して再構築するという仮定に起因し、一貫性のないシーケンスが生成されるため、本手法より性能が劣った。
• 定性的な分析により、本手法は意味的に多様で文脈的に適切な文を生成し、アスペクト語が意見対象として保持されていることが確認された。
• このフレームワークは、名前付きエンティティ認識やチャンキングなどの他の低リソースシーケンスラベルリングタスクに対しても、一般化可能で効果的である。