[論文レビュー] Automated Concatenation of Embeddings for Structured Prediction

Xinyu Wang, Yong Jiang+5 more|arXiv (Cornell University)|Oct 10, 2020

Topic Modeling参考文献 96被引用数 17

ひとこと要約

本稿では、構造予測タスクのための事前学習済み埋め込みの最適な組み合わせを自動で発見する強化学習ベースの手法である Automated Concatenation of Embeddings (ACE) を提案する。埋め込み連結をニューラルアーキテクチャ探索（NAS）問題として定式化することで、1つのGPUで数時間のGPU時間で、6つのタスクと21のデータセットにおいて強力なベースラインを上回り、最先端の結果を達成した。

ABSTRACT

Pretrained contextualized embeddings are powerful word representations for structured prediction tasks. Recent work found that better word representations can be obtained by concatenating different types of embeddings. However, the selection of embeddings to form the best concatenated representation usually varies depending on the task and the collection of candidate embeddings, and the ever-increasing number of embedding types makes it a more difficult problem. In this paper, we propose Automated Concatenation of Embeddings (ACE) to automate the process of finding better concatenations of embeddings for structured prediction tasks, based on a formulation inspired by recent progress on neural architecture search. Specifically, a controller alternately samples a concatenation of embeddings, according to its current belief of the effectiveness of individual embedding types in consideration for a task, and updates the belief based on a reward. We follow strategies in reinforcement learning to optimize the parameters of the controller and compute the reward based on the accuracy of a task model, which is fed with the sampled concatenation as input and trained on a task dataset. Empirical results on 6 tasks and 21 datasets show that our approach outperforms strong baselines and achieves state-of-the-art performance with fine-tuned embeddings in all the evaluations.

研究の動機と目的

• 構造予測タスクのための多様な事前学習済み埋め込みの最良の組み合わせを手動で選択する課題に対処すること。
• 下流タスクモデルの再訓練を必要とせずに、効果的な埋め込み連結の自動探索を実現すること。
• 指数的に増加する埋め込み組み合わせの全探索による計算負荷を軽減すること。
• 強化学習を用いてタスク固有の最適な埋め込みアンサンブルを学習することで、構造予測のパフォーマンスを向上させること。
• 既存のベースラインやアンサンブル手法を上回る、効率的でスケーラブルかつ実用的な埋め込み合成手法を設計すること。

提案手法

• ACEは、埋め込み連結問題を、コントローラーが効果的な埋め込み組み合わせをサンプリングするニューラルアーキテクチャ探索（NAS）タスクとして定式化する。
• コントローラーは、Williams (1992) が提唱したポリシー勾配法を用いて、個々の埋め込みタイプの有効性に関する信念を更新する。
• 報酬は、サンプリングされた連結埋め込みで訓練されたタスクモデルの精度から計算され、コントローラーのポリシーを最適化するフィードバックを提供する。
• 新しい報酬関数は、現在のと以前にサンプリングされた連結の変換を測定することで、性能向上を蓄積し、サンプリング効率を向上させる。
• RNNを用いない設計により、埋め込み連結を直接生成できるようにし、より高速かつ解釈性の高い探索を可能にする。
• 本手法は効率的であり、タスクごとに数時間のGPU時間で動作し、探索中にタスクモデルの再訓練を必要としない。

実験結果

リサーチクエスチョン

• RQ1 強化学習を構造予測タスクのための最適な埋め込み組み合わせの自動選択に効果的に適用できるか？
• RQ2 ACEは、強力なベースラインおよびアンサンブル手法と比較して、パフォーマンスと効率性の面でどのように差をつけるか？
• RQ3 名前付きエンティティ認識（NER）、品詞タギング、構文解析などの異なる構造予測タスクにおいて、最も効果的な埋め込みタイプとその組み合わせは何か？
• RQ4 ACEは、下流タスクモデルの再訓練なしに最先端のパフォーマンスを達成できるか？
• RQ5 報酬関数の設計が、探索プロセスの効率性と有効性にどのように影響するか？

主な発見

• ACEは21のデータセットにまたがる6つの構造予測タスク—名前付きエンティティ認識（NER）、品詞タギング、チャンク分割、アスペクト抽出、構文的依存構文解析、意味的依存構文解析—で最先端のパフォーマンスを達成した。
• NERタスクでは、ACE+Fine-tuneが多言語TB-v2データセットで95.8%のF1スコアを達成し、XLM-R+Fine-tune（95.4%）とRoBERTa+Fine-tune（95.4%）を上回った。
• 依存構文解析では、ACE+Fine-tuneがPTBデータセットで97.2%のUASと95.7%のLASを達成し、BERT+Fine-tune（96.6% UAS）とXLNET+Fine-tune（97.0% UAS）を上回った。
• アスペクト抽出では、ACE+Fine-tuneがトルコ語データセットで81.9%のF1スコアを達成し、XLM-R+Fine-tune（74.1%）とXLNET+Fine-tune（74.4%）を上回った。
• 本手法は非常に効率的であり、タスクごとに数時間のGPU時間で動作するが、多くのNAS手法がしばしば数百～数千里のGPU時間が必要とされるのとは対照的である。
• 分析の結果、BERTは構文的シーケンス構造タスクで一貫して選択され、多言語NERでは多言語M-BERTが好まれ、XLM-Rは単言語シーケンス構造タスクよりも多言語タスクでより頻繁に使用されていることがわかった。