[論文レビュー] Multi-task Domain Adaptation for Sequence Tagging

Nanyun Peng, Mark Dredze|arXiv (Cornell University)|Aug 9, 2016

Topic Modeling参考文献 46被引用数 4

ひとこと要約

本稿では、ドメイン固有のプロジェクションとタスク固有のデコーダーを備えた共有BiLSTM-CRFアーキテクチャを用いたマルチタスクドメイン適応フレームワークを提案する。このフレームワークにより、複数のNLPタスク（例：中国語語彙分割と固有表現抽出）を統合的に学習することで、リソースが乏しいドメインにおける一般化性能が向上する。本手法は、タスク間およびドメイン間で共有表現を活用することで、ソーシャルメディアテキストにおいて最先端の性能を達成する。

ABSTRACT

Many domain adaptation approaches rely on learning cross domain shared representations to transfer the knowledge learned in one domain to other domains. Traditional domain adaptation only considers adapting for one task. In this paper, we explore multi-task representation learning under the domain adaptation scenario. We propose a neural network framework that supports domain adaptation for multiple tasks simultaneously, and learns shared representations that better generalize for domain adaptation. We apply the proposed framework to domain adaptation for sequence tagging problems considering two tasks: Chinese word segmentation and named entity recognition. Experiments show that multi-task domain adaptation works better than disjoint domain adaptation for each task, and achieves the state-of-the-art results for both tasks in the social media domain.

研究の動機と目的

• 複数のNLPタスクを統合的に学習することで、リソースが乏しい設定におけるドメイン適応を改善すること。
• マルチタスク学習がドメイン適応のための表現一般化を向上させることを検証すること。
• 異なるドメインおよびタスク間で適応が行われる、新しいドメイン/タスク不一致設定を検討すること。
• マルチタスク学習とドメイン適応を同時にサポートする柔軟なニューラルフレームワークを開発すること。
• ソーシャルメディアドメインにおけるシーケンスタギングタスクで最先端の性能を達成すること。

提案手法

• フレームワークは、すべてのタスクおよびドメインに共通する共有表現学習者を備えた共有BiLSTM-CRFモデルを用いる。
• 各ドメインに固有のドメインプロジェクション層があり、ドメイン固有の表現を共有空間にマップする。
• タスク固有のデコーダーは共有表現上で学習され、複数のシーケンスタギングタスクをサポートする。
• タスク間およびドメイン固有のプロジェクションにパラメータの共有を適用することで、エンドツーエンドでモデルを訓練する。
• パrameter数がドメインおよびタスク数に線形に増加するようにスケーラブルなアーキテクチャを実現する。
• 共有表現によるドメイン適応と、タスク固有ヘッドの共同最適化によるマルチタスク学習を統合する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習は、シーケンスタギングタスクにおけるドメイン適応性能を向上させ得るか？
• RQ2 複数のタスクにまたがる共有表現を学習することで、リソースが乏しいターゲットドメインにおける一般化が向上するか？
• RQ3 本手法のフレームワークは、同じ設定における単一タスクのドメイン適応と比較してどのように性能を発揮するか？
• RQ4 ドメインプロジェクションを明示的にモデル化することで、単純な複数ドメインの訓練データの結合と比較して、性能にどのような影響を与えるか？
• RQ5 ソースデータがターゲットと異なるドメインおよびタスクを持つドメイン/タスク不一致シナリオにおいて、フレームワークは一般化可能か？

主な発見

• マルチタスクドメイン適応フレームワークは、中国語語彙分割および固有表現抽出の両タスクにおいて、単一タスクのドメイン適応を上回る性能を発揮した。
• 提案手法は、ソーシャルメディアドメインにおける両タスクで最先端の結果を達成した。
• ドメインプロジェクションを用いてドメインの違いを明示的にモデル化することで、複数ドメインの訓練データを単純に結合する手法よりも高い性能が得られた。
• フレームワークはドメイン/タスク不一致設定に対しても良好に一般化でき、多様なデータを統合的に学習することの利点を示した。
• 異なる数のソースデータセットを用いた場合でも一貫した性能向上が確認され、データスケールに頑健であることが裏付けられた。
• マルチタスク学習とドメイン適応の統合により、リソースが乏しい設定における表現品質と一般化性能が向上した。