[論文レビュー] Adversarial Training for Community Question Answer Selection Based on Multi-scale Matching

Yang Xiao, Madian Khabsa+6 more|arXiv (Cornell University)|Apr 22, 2018

Topic Modeling参考文献 39被引用数 4

ひとこと要約

本稿では、コミュニティ質問応答（CQA）選択のためのマルチスケールマッチングを組み込んだ敵対的訓練フレームワークを提案する。ラベルの不均衡を解消するために、生成モデルを用いて困難なネガティブ例をサンプリングする。識別器と生成器の反復的精錬により分類性能が向上し、テキスト特徴量のみを用いてSemEval 2017でSOTAを達成し、SemEval 2016でも優れた性能を発揮した。

ABSTRACT

Community-based question answering (CQA) websites represent an important source of information. As a result, the problem of matching the most valuable answers to their corresponding questions has become an increasingly popular research topic. We frame this task as a binary (relevant/irrelevant) classification problem, and present an adversarial training framework to alleviate label imbalance issue. We employ a generative model to iteratively sample a subset of challenging negative samples to fool our classification model. Both models are alternatively optimized using REINFORCE algorithm. The proposed method is completely different from previous ones, where negative samples in training set are directly used or uniformly down-sampled. Further, we propose using Multi-scale Matching which explicitly inspects the correlation between words and ngrams of different levels of granularity. We evaluate the proposed method on SemEval 2016 and SemEval 2017 datasets and achieves state-of-the-art or similar performance.

研究の動機と目的

• CQAデータセットにおける深刻なラベル不均衡に対処すること。具体的には、関連する回答が全サンプルの2.8–9.3%に過ぎないこと。
• 均一またはランダムなネガティブサンプリングの代わりに、敵対的に生成されたハードネガティブ例を用いることで、CQA分類器のロバスト性と精度を向上させること。
• 語彙、n-gram、階層的表現の複数の粒度で相関関係を明示的にモデル化することで、マッチング能力を強化すること。
• 回答位置やユーザ活動といったメタ情報に依存せずに、最先端の性能を達成すること。

提案手法

• 生成モデル $G$ は、関連する例に意味的に近いが困難なネガティブな質問-回答ペアを生成するように訓練され、識別器の学習中に勾配信号を強化する。
• 識別器 $D$ はREINFORCEを用いて訓練され、予測の信頼度に基づく報酬を用いてペアを関連有り・無しに分類する。
• 生成器と識別器はREINFORCEを用いて交互に最適化され、生成器が次第に難しいネガティブ例を生成するよう学習する。
• マルチスケールマッチングは、質問と回答から階層的表現を抽出するための深層CNNを用いて実装され、語彙同士、語彙とn-gram、n-gram同士の比較を可能にする。
• 複数の粒度レベルでのマッチングスコアは、フィードフォワードネットワークを介して集約され、最終的な関連スコアが得られる。
• RNNやアテンション機構に依存せず、CNNを用いた階層的特徴抽出により、効率的なマルチグレインマッチングを実現する。

実験結果

リサーチクエスチョン

• RQ1 学習された生成器を用いた敵対的訓練により、ハードネガティブ例に注目することで、CQA選択の性能が向上するか？
• RQ2 異なる粒度（語彙、n-gram）で比較するマルチスケールマッチングは、CQAにおける関連性分類にどのように影響するか？
• RQ3 メタ情報（回答位置やユーザ活動など）を用いない純粋なテキストベースのモデルが、メタ情報を利用した手法を上回る性能を発揮できるか？
• RQ4 SemEval 2017のような極めて不均衡なデータセットでは、SemEval 2016のようなよりバランスの取れたデータセットよりも、敵対的訓練がより大きな利益をもたらすか？

主な発見

• 提案手法は、SemEval 2017データセットで最高のMAP（53.38）とMRR（60.64）を達成し、全提出物の中で1位となった。
• SemEval 2016データセットでは、MAPが49.25、MRRが54.89を達成し、2位となり、メタ情報を利用した手法を上回った。
• 敵対的訓練とマルチスケールマッチングを組み合わせることで、性能が顕著に向上し、SemEval 2017ではMAPが4.29ポイント、MRRが5.39ポイント向上した。
• 生成器は識別器にとって困難な意味的に妥当なネガティブ例を効果的に生成しており、効果的なハード例マイニングの有効性が示された。
• メタ情報に依存しないにもかかわらず、最先端の結果を達成した。これは、敵対的訓練を用いたテキストのみのモデリングの有効性を裏付けた。
• アブレーションスタディの結果、生成器（G）のみで敵対的訓練を行うと性能が低下（MAP: 36.31）することが確認され、識別器（D）との共同学習の必要性が裏付けられた。