[論文レビュー] Cross-language Learning with Adversarial Neural Networks: Application to Community Question Answering

Shafiq Joty, Preslav Nakov+2 more|arXiv (Cornell University)|Jun 21, 2017

Topic Modeling参考文献 46被引用数 13

ひとこと要約

この論文では、ラベル付き英語データとラベルなしアラビア語データのみを用いて、英語で訓練された質問-質問類似度再ランク付けモデルをアラビア語に適応するためのクロス言語敵対的ニューラルネットワーク（CLANN）を提案する。言語に依存しないが類似度分類に対して判別力のある共有表現を敵対的に訓練することで、非敵対的ベースラインに比べて顕著な性能向上を達成し、強力な単言語システムと同等の性能にまで到達する。

ABSTRACT

We address the problem of cross-language adaptation for question-question similarity reranking in community question answering, with the objective to port a system trained on one input language to another input language given labeled training data for the first language and only unlabeled data for the second language. In particular, we propose to use adversarial training of neural networks to learn high-level features that are discriminative for the main learning task, and at the same time are invariant across the input languages. The evaluation results show sizable improvements for our cross-language adversarial neural network (CLANN) model over a strong non-adversarial system.

研究の動機と目的

• ラベル付きデータがソース言語（英語）でのみ入手可能で、ターゲット言語（アラビア語）にラベルなしデータがあるコミュニティQAにおけるクロス言語適応を解決すること。
• 平行トレーニングデータを必要とせずに、敵対的訓練がニューラルネットワークの一般化を言語間で向上させられるかどうかを検討すること。
• 類似度分類に対して判別力があり、言語固有の変化に対して不変である統一されたクロス言語表現を開発すること。
• 無教師および半教師あり設定における敵対的訓練の有効性を、クロス言語NLPタスクにおいて評価すること。
• 敵対的学習が、高リソース言語（英語）から低リソース言語（アラビア語）へ、質問類似度ランク付けタスクにおいて知識を効果的に転送できることを示すこと。

提案手法

• ドメイン敵対的ニューラルネットワーク（DANN）フレームワークを、ソース（英語）とターゲット（アラビア語）言語入力を区別する言語識別器を備えたクロス言語設定に適応する。
• 主タスクの質問ペア類似度分類に対して判別力を持つ一方で、言語に依存しない高レベル表現を生成する共有特徴抽出器を訓練する。
• バックプロパゲーション中に勾配反転を用いて、特徴抽出器を言語識別器に対して敵対的とし、ドメイン不変表現を促進する。
• フィードフォワードニューラルネットワークにクロス言語語彙埋め込みを入力し、最終層を主分類器と言語識別器の両者で共有する。
• ターゲット言語のラベル付き例を統合することで、半教師あり設定にモデルを拡張し、ラベル付きソース、ラベル付きターゲット、およびラベルなしターゲットデータを同時に学習可能にする。
• ラベル付きソース例、ラベル付きターゲット例、およびラベルなしターゲット例を分類する言語識別器を訓練し、それぞれに異なる監視信号を用いる。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練は、言語に依存しないが類似度分類に対して判別力のあるクロス言語表現を効果的に学習できるか？
• RQ2 ラベルなしターゲット言語データのみが利用可能な状況で、CLANNモデルの性能は非敵対的ベースラインと比べてどの程度向上するか？
• RQ3 少量のラベル付きターゲット言語データを半教師あり設定で追加することで、性能はどの程度さらに向上するか？
• RQ4 CLANNフレームワークは、異なる適応方向（例：英語→アラビア語対アラビア語→英語）においても一般化できるか？
• RQ5 クロス言語設定における敵対的訓練は、完全なラベル付きデータで訓練された単言語システムと同等の性能に到達できるか？

主な発見

• 半教師あり学習において、50%のラベル付きデータとラベルなしアラビア語例を用いた場合、CLANNは英語→アラビア語方向でMAPスコア76.65を達成したのに対し、非敵対的FNNベースラインは74.69であった。
• 英語→アラビア語方向において、CLANN-semisupモデルはMRRを83.79から84.52へ、AvgRecを88.16から90.84へと向上させ、全評価指標で一貫した向上を示した。
• 無教師設定（ラベルなしアラビア語データのみ）でも、CLANNは非敵対的FNNモデルを有意義に上回り、ラベルなしターゲットデータのみで敵対的訓練が有効であることを示した。
• 半教師あり学習を用いたCLANNモデルの性能は、完全教師ありベースラインに非常に近い結果を示し、ターゲット言語における限られたラベル付きデータを効果的に活用できることを示した。
• モデルは両方向の適応（en-arおよびar-en）において強力な一般化を示し、学習されたクロス言語表現の対称性と頑健性を確認した。
• 結果から、敵対的訓練が、質問類似度ランク付けタスクにおいて高リソース言語から低リソース言語へ知識を効果的に転送でき、最先端の単言語システムと同等の性能に到達できることを示した。