[論文レビュー] Neural Simile Recognition with Cyclic Multitask Learning and Local Attention

Jiali Zeng, Linfeng Song+4 more|arXiv (Cornell University)|Dec 19, 2019

Topic Modeling参考文献 33被引用数 4

ひとこと要約

本稿では、局所的アテンションを備えたサイクル型マルチタスク学習フレームワークを提案し、比喩文分類と構成要因抽出の間で繰り返し出力をフィードバックすることで、タスク間の依存関係を強化する。この手法は、特にBERTを用いる場合に、注意の集中を向上させるとともに、サイクル型の情報フローにより双方向のタスク相互作用をモデル化することで、最先端のモデルを著しく上回る性能を達成する。

ABSTRACT

Simile recognition is to detect simile sentences and to extract simile components, i.e., tenors and vehicles. It involves two subtasks: {\it simile sentence classification} and {\it simile component extraction}. Recent work has shown that standard multitask learning is effective for Chinese simile recognition, but it is still uncertain whether the mutual effects between the subtasks have been well captured by simple parameter sharing. We propose a novel cyclic multitask learning framework for neural simile recognition, which stacks the subtasks and makes them into a loop by connecting the last to the first. It iteratively performs each subtask, taking the outputs of the previous subtask as additional inputs to the current one, so that the interdependence between the subtasks can be better explored. Extensive experiments show that our framework significantly outperforms the current state-of-the-art model and our carefully designed baselines, and the gains are still remarkable using BERT.

研究の動機と目的

• 標準のマルチタスク学習が比喩認識のサブタスク間の双方向的依存関係を捉えることの限界を是正すること。
• 比較語の周囲の局所的文脈に注目することで、グローバルアテンション機構に起因するアテンションエラーを低減すること。
• タスク間の反復的・サイクル型の情報フローにより、比喩構成要因抽出と文分類の精度を向上させること。
• 標準的またはデコーディングベースのMTLと比較して、サイクル型の情報伝搬が、比喩分類と構成要因抽出の間の相互依存関係をよりよくモデル化できるかどうかを検証すること。
• BERTベースのエンコーダーを用いた場合の中国語比喩認識におけるフレームワークの有効性を評価すること。

提案手法

• 比喩文分類と構成要因抽出をサイクルに組み込み、1つのタスクの出力を次のタスクの入力として順次フィードバックする。
• 比較語を中心にした単語表現に局所的アテンション機構を適用し、関連する文脈に集中することで、遠く離れた単語からのノイズを低減する。
• 構成要因抽出のためのCRFに渡す前に、局所的アテンション層からのアテンション重みと単語表現を連結する。
• 文デコーダーを用いて入力文を再構成し、デコーダーの状態を単語表現と組み合わせて次の分類ステップを支援する。
• サイクル型の設計により、K回の反復の間に各サブタスクが他のすべてのタスクの出力を段階的に活用でき、タスク間相関のモデル化が強化される。
• 共有のbi-LSTMエンコーダーを用い、分類と抽出の両方の目的関数を共同で最適化することで、エンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 比喩認識サブタスク間のサイクル型情報フローは、標準のマルチタスク学習と比較して性能向上をもたらすか？
• RQ2 比較語周辺の局所的アテンションは、注意の誤りを低減し、関連する比喩構成要因への注目を向上させるか？
• RQ3 提案されたフレームワークは、特にBERTをバックボーンエンコーダーとして用いた場合に、最先端のモデルと比較してどの程度の性能を示すか？
• RQ4 比喩分類と構成要因抽出の相互依存関係は、全体の認識精度をどの程度向上させるか？
• RQ5 サイクル型MTL設計は、強いサブタスク依存関係を示す他のNLPタスクに対しても一般化可能か？

主な発見

• 提案されたサイクル型マルチタスク学習フレームワークは、中国語比喩認識ベンチマークにおいて、現在の最先端モデルを著しく上回る性能を達成した。
• 標準のマルチタスク学習や注意深く設計されたベースラインと比較して、モデルは性能を向上させたが、特にBERTをバックボーンエンコーダーとして用いた場合でも、その向上は著しいままであった。
• 局所的アテンションは、比較語から遠く離れた単語からの干渉を低減し、制限された局所的ウィンドウに注目することで、ノイズの少ない集中を実現した。
• サイクル型の設計により、比喩分類と構成要因抽出の間の双方向的依存関係がよりよくモデル化されたことが、両タスクのF1スコアの向上によって裏付けられた。
• アブレーションスタディの結果、サイクル型情報フローと局所的アテンションの両方が、性能向上に独立して寄与するとともに、相乗効果を発揮することが確認された。
• このフレームワークは強力な一般化可能性を示しており、アスペクトレベルのセンチメント分析などの他のマルチタスクNLPタスクに対しても、有望な応用が期待される。