[論文レビュー] Aspect-augmented Adversarial Networks for Domain Adaptation

Yuan Zhang, Regina Barzilay+1 more|arXiv (Cornell University)|Jan 1, 2017

Topic Modeling参考文献 41被引用数 11

ひとこと要約

本稿では、自然言語処理におけるドメイン適応のためのアスペクト拡張型敵対的ネットワーク（AAN）を提案する。この手法は、完全ラベルではなく、アスペクト関連キーワードによる弱い教師信号を用いて、関連する分類タスク（例：病理報告のアスペクト）間で知識を転送する。アスペクト依存の文エンコーダ、共有分類器、敵対的ドメイン識別器を同時に学習させることで、転送性能を向上させる不変表現を学習する。実験では、病理データセットでベースライン比27%の精度向上、レビューデータセットで5%の向上を達成した。

ABSTRACT

We introduce a neural method for transfer learning between two (source and target) classification tasks or aspects over the same domain. Rather than training on target labels, we use a few keywords pertaining to source and target aspects indicating sentence relevance instead of document class labels. Documents are encoded by learning to embed and softly select relevant sentences in an aspect-dependent manner. A shared classifier is trained on the source encoded documents and labels, and applied to target encoded documents. We ensure transfer through aspect-adversarial training so that encoded documents are, as sets, aspect-invariant. Experimental results demonstrate that our approach outperforms different baselines and model variants on two datasets, yielding an improvement of 27% on a pathology dataset and 5% on a review dataset.

研究の動機と目的

• ソースタスクのラベルしか入手できない状況で、関連するアスペクト（例：癌とリンパ節侵襲）間で分類モデルを転送する課題に対処すること。
• 完全ラベルではなく、文単位のアスペクト関連性アノテーションを弱い教師信号として用いることで、同じドメイン内での効果的な転移学習を可能にすること。
• 敵対的訓練を通じてアスペクト不変表現を学習し、異なるアスペクトに焦点が当たっても、エンコードされたドキュメントが堅牢に保たれるようにすること。
• 単語レベルのオートエンコーダ再構成損失を組み込むことで、敵対的訓練の安定性と表現品質を向上させること。
• クロスアスペクト病理分類とレビューにおける標準的なドメイン適応の両方で手法を評価し、堅牢性と一般化性能を示すこと。

提案手法

• モデルは、キーワードベースの関連性信号を用いて、特定のアスペクトに関連する文を柔らかく選択・埋め込むアスペクト依存エンコーダを採用する。
• 共有分類器はソースラベル付きドキュメントで学習され、ターゲットドキュメントのエンコーディングに適用されるため、ターゲットラベルが不要となる。
• 敵対的ドメイン識別器は、ソースおよびターゲットのアスペクトエンコーディング表現を区別するように学習されるが、エンコーダはそれを欺くように最適化され、アスペクト不変性が強制される。
• エンコーダは、分類器および敵対的識別器と同時に、エンドツーエンドのバックプロパゲーションを用いて学習され、表現学習と分類のバランスが取られる。
• 敵対的訓練の安定性を高め、特徴表現を豊かにするために、単語レベルのオートエンコーダ再構成損失を導入する。これによりスパarsityが低下し、多様性が向上する。
• エンコーダと分類器の間に学習可能な変換層を設け、過学習を防ぎ、表現品質を維持するための正則化を施す。

実験結果

リサーチクエスチョン

• RQ1 アスペクト関連キーワードは、ターゲットラベルが存在しない状況でも、関連する分類タスク間での転移学習を可能にする有効な弱い教師信号として機能するか？
• RQ2 敵対的訓練は、同じドメイン内でのアスペクト不変表現をどの程度強制できるか？ これにより、アスペクト間での一般化性能が向上するか？
• RQ3 再構成損失の追加は、文単位のエンコーディングにおける敵対的訓練の安定性と品質にどのような影響を与えるか？
• RQ4 関連性アノテーションのキーワードルール数が、モデルの性能にどの程度感度を示すか？
• RQ5 本手法は、クロスアスペクト病理分類やクロスドメインレビュー感情分析など、異なるNLPタスクにも一般化可能か？

主な発見

• 提案されたAANモデルは、クロスアスペクト転移（例：LCISからALH）の文脈において、乳癌病理データセットでmSDAベースライン比27%の相対的精度向上を達成した。
• レビューデータセットでは、標準的なドメイン適応設定（例：ホテルレビューからレストランレビュー）において、ベースライン比5%の性能向上を示した。
• 再構成損失の導入により、表現のスパarsityが約85%から約30%に低下し、特徴の豊かさと多様性が顕著に向上した。
• 学習可能な変換層を備えたモデルは、無限大またはゼロの正則化を施したバリアントを上回り、病理データセットで平均9.8%の向上を示した。
• 病理データセットでは、キーワードルールの数に性能が敏感であったが、レビューデータセットはラベル依存性が強いことから、それほど感度が低かった。
• ケーススタディでは、敵対的モデルがドメイン固有の語（例：'undercooked' 対 'old'）を類似する不変表現にマッピングできたのに対し、非敵対的バージョンはそのようなマッピングに失敗した。