[論文レビュー] Adversarial Domain Adaptation for Duplicate Question Detection

Darsh Shah, Tao Leí+3 more|arXiv (Cornell University)|Sep 7, 2018

Topic Modeling参考文献 39被引用数 5

ひとこと要約

本稿では、異なるStackExchangeフォーラム間での重複質問検出のための敵対的ドメイン適応（ADA）を提案する。共有の質問エンコーダとドメイン識別器を用いて特徴空間を統一する。ドメインペア全体でベースラインより平均5.6%の相対的改善を達成し、効果はドメイン間のn-gram類似度と強く相関している。

ABSTRACT

We address the problem of detecting duplicate questions in forums, which is an important step towards automating the process of answering new questions. As finding and annotating such potential duplicates manually is very tedious and costly, automatic methods based on machine learning are a viable alternative. However, many forums do not have annotated data, i.e., questions labeled by experts as duplicates, and thus a promising solution is to use domain adaptation from another forum that has such annotations. Here we focus on adversarial domain adaptation, deriving important findings about when it performs well and what properties of the domains are important in this regard. Our experiments with StackExchange data show an average improvement of 5.6% over the best baseline across multiple pairs of domains.

研究の動機と目的

• ラベル付き学習データが不足するフォーラムにおける重複質問検出の課題に対処すること。
• ラベル付きフォーラム（例：StackOverflow）からラベルなしのターゲットフォーラム（例：Apple, Android）へドメイン適応を介した転移学習を可能にすること。
• 敵対的ドメイン適応がクロスドメインの重複質問検出において、どのような条件下で効果を発揮するかを調査すること。
• 訓練時に観測されていないターゲットドメインへの一般化能力を、ピボットドメインを用いて評価すること。
• 適応成功を予測するドメインの言語的および統計的特性を同定すること。

提案手法

• ソースドメインおよびターゲットドメインの両方からの入力質問を、密なベクトル表現にマップする共有の質問エンコーダを採用する。
• 重複質問ラベルの分類損失を最小化すると同時に、ドメイン識別器がドメイン予測を区別できないようにエンコーダを訓練する。
• 標準的なGANと比較して訓練の安定性を向上させ、AUCの分散を低減するため、Wasserstein GANに基づく敵対的損失を用いる。
• 2種類の類似度関数を実装する：クロスエントロピー損失を伴うシグモイドベースの分類器と、ペairワイズのヘッジ損失を伴うコサイン類似度関数。
• 敵対的正則化を適用して、ソースドメインとターゲットドメインの潜在表現を統一し、ドメインシフトを低減する。
• 分類損失、敵対的損失、類似度損失の組み合わせを用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 敵対的ドメイン適応は、異なるStackExchangeフォーラム間の重複質問検出においてどの程度有効か？
• RQ2 ソースドメインおよびターゲットドメインのどのような特性が、このタスクにおけるドメイン適応の成功を予測できるか？
• RQ3 敵対的ドメイン適応は、訓練時に観測されていないターゲットドメインにも一般化可能か？
• RQ4 敵対的適応の性能は、直接的転送法やBM25ベースライン法と比較してどの程度優れているか？
• RQ5 ドメイン適応の有効性は、ドメイン間のn-gram類似度とどの程度相関しているか？

主な発見

• 敵対的ドメイン適応は、StackExchangeファミリーの全ソース・ターゲットドメインペアにおいて、最良のベースラインより平均5.6%の相対的改善を達成した。
• AskUbuntu → Androidペアで最高14%の改善が得られ、類似ドメインでの優れた性能が示された。
• ドメイン適応の性能はn-gram類似度と正の相関を示す：適応効果とのピアソン相関係数は、unigramsで0.57、bigramsで0.80、trigramsで0.94であった。
• Quoraから他のドメインへの適応では、直接的転送とほとんど差がなく、ドメイン類似度が極めて重要であることを確認した。
• ピボットドメイン（例：AskUbuntu）を用いて敵対的訓練を行うことで、AppleやAndroidなどの未観測ターゲットドメインに対しても一般化が可能であり、直接的転送を上回った。
• Wasserstein GAN損失は著しく安定した訓練を実現し、標準的な分類ベースのGANと比較してAUCの分散を17倍低減した。