[論文レビュー] Multi-task Multi-domain Representation Learning for Sequence Tagging.

Nanyun Peng, Mark Dredze|arXiv (Cornell University)|Aug 9, 2016

Topic Modeling被引用数 26

ひとこと要約

本稿では、序列タグ付けのための統合的でマルチタスク・マルチドメイン表現学習フレームワークを提案する。このフレームワークは、共有CRFとドメイン固有の投影を活用し、中国語の語彙分割と命名参照認識という2つのタスクおよびニュースとソーシャルメディアという2つのドメインにおいて、強固で転送可能な表現を学習する。このアプローチにより、ドメインシフトを効果的にモデル化しながら、タスク固有のタグ付け精度を維持したまま、ソーシャルメディアタスクにおいて最先端の性能を達成した。

ABSTRACT

Representation learning with deep models have demonstrated success in a range of NLP. In this paper we consider its use in a multi-task multi-domain setting for sequence tagging by proposing a unified framework for learning across tasks and domains. Our model learns robust representations that yield better performance in this setting. We use shared CRFs and domain projections to allow the model to learn domain specific representations that can feed a single task specific CRF. We evaluate our model on two tasks -- Chinese word segmentation and named entity recognition -- and two domains -- news and social media -- and achieve state-of-the-art results for both social media tasks.

研究の動機と目的

• 複数のドメイン間でドメインシフトの課題に対処するため、複数のNLPタスクおよびドメインにわたる強固で共有された表現を学習すること。
• 関連するNLPタスクにわたるマルチタスク学習を活用することで、特にソーシャルメディアのような低リソースドメインのパフォーマンスを向上させること。
• タスク固有のタグ付けとドメイン不変の表現学習の両方を同時に最適化する統合フレームワークを設計すること。
• 高リソースドメイン（例：ニュース）から低リソースドメイン（例：ソーシャルメディア）への知識の効果的な転送を、共有部とドメイン固有部の両方を用いて実現すること。
• 単一の統合アーキテクチャを用いて、多様なドメインおよびタスクにおいて序列タグ付けの最先端の結果を達成すること。

提案手法

• モデルは、すべてのタスクおよびドメインにわたる一般化された文脈的表現を学習するための共有エンコーダを採用する。
• 共有表現にドメイン固有のプロジェクションを適用し、各ドメイン（例：ニュース対ソーシャルメディア）の固有の特徴に適応させる。
• デコードには単一のタスク固有CRFを用い、ラベルの依存関係を複数のドメインおよびタスクにわたってモデル化するため、共有CRFを採用する。
• エンドツーエンドの学習を通じて、序列タグ付けの目的関数とドメイン適応の両方を同時に最適化する。
• パラメータの共有をタスク間で可能にしつつ、専用のプロジェクション層によってドメイン固有の不変性を保つアーキテクチャを実現する。
• モデルは2つのタスク（中国語語彙分割と命名参照認識）と2つのドメイン（ニュースとソーシャルメディア）で学習される。

実験結果

リサーチクエスチョン

• RQ1 統合モデルは、複数のNLPタスクおよびドメインにわたって共有表現を効果的に学習しつつ、各タスクで高いパフォーマンスを維持できるか？
• RQ2 ドメイン固有のプロジェクションは、ソーシャルメディアのような低リソースドメインにおける序列タグ付けのパフォーマンスをどのように向上させるか？
• RQ3 共有CRFを用いたマルチタスク学習は、ドメインおよびタスクの両方における一般化性能をどの程度向上させるか？
• RQ4 提案されたフレームワークは、高リソースおよび低リソースドメインの両方において、既存の手法を上回る性能を序列タグ付けベンチマークで達成できるか？
• RQ5 共有部とドメイン固有部の両者が、クロスドメインの序列タグ付けにおけるロバスト性向上にどのように相互に作用するか？

主な発見

• 提案されたモデルは、ソーシャルメディアドメインにおける中国語語彙分割および命名参照認識タスクで、最先端のパフォーマンスを達成した。
• ノイズが多く、OoV（未知語）が多いとされるソーシャルメディアデータにおいて、モデルは顕著なパフォーマンス向上を示した。
• ドメイン固有のプロジェクションの使用により、タスク固有のタグ付け品質を損なうことなく、ドメイン固有の言語的パターンへの適応が向上した。
• 共有CRF部により、ドメイン間で一貫したラベル遷移が維持され、一般化性能が向上した。
• 高リソースドメイン（例：ニュース）から低リソースドメイン（例：ソーシャルメディア）への強力な転送性が、フレームワークで確認された。
• モデルは、両タスクおよび両ドメインにおいて、既存のベースラインを上回り、マルチタスク・マルチドメイン学習の有効性を裏付けた。