[論文レビュー] Unsupervised Domain Adaptation with Feature Embeddings

Yi Yang, Jacob Eisenstein|arXiv (Cornell University)|Dec 14, 2014

Domain Adaptation and Few-Shot Learning参考文献 13被引用数 3

ひとこと要約

本稿では、自然言語処理におけるテンプレート構造特徴を活用して、ネガティブサンプリングを用いたスキップグラムモデルを用いて、密度的な特徴埋め込みを学習する、Femaと呼ばれる新しい教師なしドメイン適応手法を提案する。ニューステキストからウェブテキストへのPOSタギング適応において、SCL や mDA といった先行する表現学習手法よりも平均で1%優れている。タスク固有のピvォット特徴選択を必要とせず、最先端の結果を達成している。

ABSTRACT

Representation learning is the dominant technique for unsupervised domain adaptation, but existing approaches often require the specification of "pivot features" that generalize across domains, which are selected by task-specific heuristics. We show that a novel but simple feature embedding approach provides better performance, by exploiting the feature template structure common in NLP problems.

研究の動機と目的

• タスク固有のヒューリスティクスに依存してピボット特徴を選択する既存の教師なしドメイン適応手法の限界を解消すること。
• 特徴テンプレート全体にわたる共起パターンを捉える、密度的かつ低次元の特徴埋め込みを学習することで、自然言語処理におけるクロスドメイン一般化を向上させること。
• 広範な特徴共起統計の利用と効率的な表現学習の間の計算的トレードオフを解消すること。
• 構造的特徴空間における再構築ベースの表現学習手法に対する、単純でスケーラブルかつ効果的な代替手法を提供すること。

提案手法

• Femaは、ソースドメインとターゲットドメインデータの集合に対してネガティブサンプリングを用いて訓練されたスキップグラムモデルを用い、各特徴に対して入力および出力の埋め込みを別々に学習する。
• モデルは、特徴の入力埋め込みを用いて、隣接するテンプレートにおけるアクティブな特徴を予測し、シグモイド活性化関数とネガティブサンプリングを用いて目的関数を最適化する。
• 各テンプレートにおける特徴埋め込みを連結して、各インスタンスの密度的表現を形成し、その後、元の特徴ベクトルと連結する。
• 連結された埋め込みにハイパボリックタンジェント関数を適用して非線形性を導入し、表現のロバスト性を向上させる。
• 最終的な拡張された特徴表現は、生の特徴と埋め込み特徴を組み合わせたものであり、SVM などの下流モデルがドメイン間でより良く一般化できるようにする。
• この手法は、各インスタンスに対して1つのアクティブ特徴をもたらすという、自然言語処理の特徴空間に共通するテンプレート構造を活用する。

実験結果

リサーチクエスチョン

• RQ1 特徴埋め込みに基づく表現学習アプローチは、ピボット特徴再構築手法を上回る性能を示せるか？
• RQ2 特徴共起パターンから直接埋め込みを学習することで、POSタギングにおけるクロスドメイン一般化が向上するか？
• RQ3 ネガティブサンプリングを用いたスキップグラムベースの手法は、自然言語処理の構造的特徴テンプレートに効果的に適用可能か？
• RQ4 Femaは、SCL、mDA、word2vec と比較して、ドメイン適応タスクにおける性能と効率性で優れているか？

主な発見

• Femaは、すべてのターゲットドメインにおいてSANCLテストセットで平均92.60%の正解率を達成し、ベースラインより4.15ポイント高い。
• 開発セットでは、ニュースグループで91.26%、レビューで92.82%、ブログで94.95%、Q&Aで90.69%、メールで89.72%の正解率を記録し、レビューを除くすべての競合手法を上回った。
• SCL や mDA より平均で約1%高い性能を達成し、性能の相対誤差を10%削減した。
• gensim を用いて24コアのマシンで約70分で学習が可能で、SCL よりも速く、mDA と同等の性能を発揮した。
• タスク固有のピボット特徴選択の必要性を排除し、適応パイプラインを単純化し、ヒューリスティクス依存性を低減した。