[論文レビュー] Low Resource Multi-Task Sequence Tagging -- Revisiting Dynamic Conditional Random Fields

Jonas Pfeiffer, Edwin Simpson+1 more|arXiv (Cornell University)|May 1, 2020

Topic Modeling参考文献 50被引用数 4

ひとこと要約

本稿では、低リソース多タスクシーケンスタグギングにおけるタスク間依存関係を明示的にモデル化するため、ニューラル要因数付き条件付きランダムフィールド（CRF）を提案する。単一タスクや標準的な多タスク学習設定を上回る性能を発揮する。深層ニューラルネットワークと動的CRFを統合し、特に銀の品詞タグを補助タスクとして用いることで、タスク間のラベル相関を捉える。これにより、希少または重複するスパンが存在する低リソース環境下で顕著な性能向上が達成される。

ABSTRACT

We compare different models for low resource multi-task sequence tagging that leverage dependencies between label sequences for different tasks. Our analysis is aimed at datasets where each example has labels for multiple tasks. Current approaches use either a separate model for each task or standard multi-task learning to learn shared feature representations. However, these approaches ignore correlations between label sequences, which can provide important information in settings with small training datasets. To analyze which scenarios can profit from modeling dependencies between labels in different tasks, we revisit dynamic conditional random fields (CRFs) and combine them with deep neural networks. We compare single-task, multi-task and dynamic CRF setups for three diverse datasets at both sentence and document levels in English and German low resource scenarios. We show that including silver labels from pretrained part-of-speech taggers as auxiliary tasks can improve performance on downstream tasks. We find that especially in low-resource scenarios, the explicit modeling of inter-dependencies between task predictions outperforms single-task as well as standard multi-task models.

研究の動機と目的

• タスク間ラベル依存関係が無視されることによる低リソース多タスクシーケンスタグギングにおける性能低下を是正すること。
• 異なるタスクのラベル系列間の依存関係を明示的にモデル化することで、低リソース環境下での性能向上が図れるかどうかを調査すること。
• 多タスク学習におけるシーケンスタグギングにおいて、銀の品詞タグを補助タスクとして用いる有効性を評価すること。
• 英語およびドイツ語のデータセットを用いた多様な低リソースシナリオにおいて、単一タスク、標準的多タスク、および動的CRFベースのモデルを比較すること。
• データが不足する環境下で一般化性能を向上させるための実用的で再現可能な多タスクシーケンスタグギングフレームワークを提供すること。

提案手法

• 標準的な線形チェーンCRFを拡張し、複数のタスクにまたがる複数のラベル系列を同時にモデル化できるニューラル要因数付きCRFモデルを提案。これにより、タスク固有のラベル間の明示的依存関係モデリングが可能になる。
• 深層ニューラルネットワーク（DNN）と要因数付きCRFを統合し、特徴表現とタスク間ラベル依存関係の両方をエンドツーエンドで学習可能にする。
• タスク固有のラベル相関を符号化するための結合確率行列Cを学習する重み付き要因数付きCRF（WFac）アーキテクチャを採用。正の依存関係および負の依存関係を含むラベル相関を表現可能。
• 事前学習済み品詞タガーを用いて低コストの銀ラベルを生成し、補助タスクとして活用。手動アノテーションを必要とせず、下流タスクの性能向上を実現。
• 共有DNNエンコーダーとタスク固有のCRF層を備えたマルチヘッドアーキテクチャを採用。提案された要因数付きCRF設定と比較する。
• 英語およびドイツ語の文とドキュメントレベルで、3つの多様なデータセット（Streusle, FAMULUS, Malware）を用い、低リソース条件下で広範な実験を実施。

実験結果

リサーチクエスチョン

• RQ1 タスク間ラベル依存関係の明示的モデリングが、低リソース多タスクシーケンスタグギングの性能向上に寄与するか？
• RQ2 低リソース環境下で、ニューラル要因数付きCRFの性能は単一タスクおよび標準的多タスク学習設定を上回るか？
• RQ3 事前学習モデルから得られる銀の品詞タグが、多タスクシーケンスタグギングにおける補助タスクとしてどれほど有効か？
• RQ4 特に希少または重複するスパンが存在する状況では、タスク間依存関係のモデリングがどの程度の性能向上をもたらすか？
• RQ5 標準的多タスク学習と比較して、明示的な依存関係モデリングの導入により、タスク間干渉が軽減されるか？

主な発見

• 重み付き要因数付きCRF（WFac）モデルは、低リソース環境下で単一タスクおよび標準的多タスク学習モデルを上回る性能を発揮し、特にStreusleデータセットのMWEおよびSSCのような希少または重複スパンを持つタスクで顕著な向上を示す。
• 結合確率行列Cによるラベル依存関係の明示的モデリングにより、ありえないラベル組み合わせを低減し、ありそうな組み合わせを強化することで、予測精度が向上する。
• タスク間の依存関係が強い場合、特にStreusleデータセットにおけるPOSとMWEの間で、特定のタグペア間に強い正のおよび負の相関関係が学習され、性能向上が顕著に現れる。
• 銀の品詞タグを補助タスクとして用いることで、ターゲットタスクの性能が顕著に向上する。これは、補助タスク自体の性能が低下しても、有用な依存関係信号の転送が可能であるためである。
• 標準的多タスク学習では、一部のタスクの性能が低下する干渉が頻発するが、これは共有表現のみに依存する限界を示している。
• 要因数付きCRFアプローチは、特に初期段階のデータセット作成時において顕著に有効であり、信頼性の高いラベル提案を通じてアノテーションの速度とアノテーター間一貫性を向上させる。