[論文レビュー] Neural Structural Correspondence Learning for Domain Adaptation

Yftah Ziser, Roi Reichart|arXiv (Cornell University)|Oct 5, 2016

Topic Modeling参考文献 30被引用数 8

ひとこと要約

この論文では、非ピボット特徴量の低次元表現を学習し、ドメイン間で共有されるピボット特徴量を再構築することで、クロスドメインセンチメント分類を可能にする三層ニューラルネットワーク、Neural SCLを提案する。事前学習済み単語埋め込みを固定された復号行列に統合することで、一般化性能が向上し、16のドメインペアにおいてSOTA性能を達成し、SCL、MSDA、MSDA-DANベースラインを上回る。

ABSTRACT

Domain adaptation, adapting models from domains rich in labeled training data to domains poor in such data, is a fundamental NLP challenge. We introduce a neural network model that marries together ideas from two prominent strands of research on domain adaptation through representation learning: structural correspondence learning (SCL, (Blitzer et al., 2006)) and autoencoder neural networks. Particularly, our model is a three-layer neural network that learns to encode the nonpivot features of an input example into a low-dimensional representation, so that the existence of pivot features (features that are prominent in both domains and convey useful information for the NLP task) in the example can be decoded from that representation. The low-dimensional representation is then employed in a learning algorithm for the task. Moreover, we show how to inject pre-trained word embeddings into our model in order to improve generalization across examples with similar pivot features. On the task of cross-domain product sentiment classification (Blitzer et al., 2007), consisting of 12 domain pairs, our model outperforms both the SCL and the marginalized stacked denoising autoencoder (MSDA, (Chen et al., 2012)) methods by 3.77% and 2.17% respectively, on average across domain pairs.

研究の動機と目的

• 自然言語処理における教師ありドメイン適応の課題に取り組むこと、特にターゲットドメインでラベル付きデータが限られる状況を想定する。
• 従来の構造的対応学習（SCL）と現代のニューラルオートエンコーダベースの手法の長所を統合し、両者のギャップを埋めること。
• ピボット特徴量の再構築を通じて、分離可能でドメイン不変の表現を学習することで、クロスドメインセンチメント分類を改善すること。
• ニューラルネットワークの復号層に事前学習済み単語埋め込みを組み込むことで、モデルの一般化性能を向上させること。

提案手法

• モデルは、フィードフォワードニューラルネットワークを用いて、入力の非ピボット特徴量を低次元の隠れ表現に符号化する。
• 標準的なオートエンコーダとは異なり、入力特徴量の再構築ではなく、隠れ表現を復号してピボット特徴量の存在を予測する。
• より高度なモデルでは、学習された復号行列の代わりに、ピボット特徴量のための固定された事前学習済み単語埋め込み行列を用いる。
• ピボット特徴量の存在確率は、その埋め込みと隠れ表現のドット積の非線形関数としてモデル化される。
• モデルは、ソースドメインおよびターゲットドメインのラベルなしデータ上で、検証誤差の早期停止を伴う確率的勾配降下法を用いてエンドツーエンドで訓練される。
• ピボット数や隠れ次元のハイパーパrameterは、ラベル付き開発セットを用いてドメインペアごとに調整される。

実験結果

リサーチクエスチョン

• RQ1 非ピボット特徴量からピボット特徴量を再構築することで、ニューラルネットワークモデルがドメイン間で共有表現を効果的に学習できるか？
• RQ2 復号層に事前学習済み単語埋め込みを組み込むことで、クロスドメインセンチメント分類における一般化性能が向上するか？
• RQ3 SCL、MSDA、MSDA-DANといった強力なベースラインと比較して、Neural SCLはクロスドメインセンチメント分類でどのように性能を発揮するか？
• RQ4 ドメイン不変表現を学習する際、ピボット特徴量の埋め込みにおける意味的類似性は、モデルにどの程度の利益をもたらすか？

主な発見

• 提案されたNeural SCLモデルは、クロスドメインセンチメント分類の16のドメインペアにおいて、SCL、MSDA、MSDA-DANといった強力なベースラインを著しく上回る性能を達成した。
• 固定された事前学習済み埋め込みを用いたモデル（AE-SCL-SR）は、エンドツーエンドで学習されたバージョン（AE-SCL）を上回り、事前学習済み埋め込みが一般化性能を向上させることを示している。
• ピボット特徴量にword2vec埋め込みを用いることで、表面表現が異なっていても意味的に類似したピボット特徴量を持つ文書に対して、類似した隠れ表現を学習できるようになった。
• モデルの性能はさまざまなドメインペアに対して安定しており、不均衡データおよびバランスデータの両方の設定で一貫した向上が観察された。
• ラベル付き開発データを用いたハイパーパrameterチューニングにより、モデル性能が顕著に向上し、最適な設定はドメインペアごとに異なることがわかった。
• 表現学習にラベルなしデータのみを用いても、SOTAの結果を達成しており、ニューラルフレームワーク内でのピボットベースの対応学習の有効性が示された。