[論文レビュー] Multinomial Adversarial Networks for Multi-Domain Text Classification

Xilun Chen, Claire Cardie|arXiv (Cornell University)|Feb 15, 2018

Domain Adaptation and Few-Shot Learning参考文献 17被引用数 19

ひとこと要約

本稿では、複数ドメインのテキスト分類（MDTC）のための多項分布敵対的ネットワーク（MAN）を提案する。MANは、複数ドメイン間の特徴分布のf-発散を最小化する多項分布識別器を用い、ドメイン不変の表現を学習する。従来の手法（CMSC や ASP-MTL）を著しく上回り、ラベル付きデータが一部のドメインに存在しない状況でも最先端の性能を達成する。

ABSTRACT

Many text classification tasks are known to be highly domain-dependent. Unfortunately, the availability of training data can vary drastically across domains. Worse still, for some domains there may not be any annotated data at all. In this work, we propose a multinomial adversarial network (MAN) to tackle the text classification problem in this real-world multidomain setting (MDTC). We provide theoretical justifications for the MAN framework, proving that different instances of MANs are essentially minimizers of various f-divergence metrics (Ali and Silvey, 1966) among multiple probability distributions. MANs are thus a theoretically sound generalization of traditional adversarial networks that discriminate over two distributions. More specifically, for the MDTC task, MAN learns features that are invariant across multiple domains by resorting to its ability to reduce the divergence among the feature distributions of each domain. We present experimental results showing that MANs significantly outperform the prior art on the MDTC task. We also show that MANs achieve state-of-the-art performance for domains with no labeled data.

研究の動機と目的

• 一部のドメインでラベル付きデータが乏しいもしくは存在しない状況における多ドメインテキスト分類（MDTC）の課題に対処すること。
• 従来の共有・プライベートモデルの限界、すなわちドメイン固有の特徴が共有分類器に漏れ込む問題を克服すること。
• 複数ドメインの特徴分布間の発散を最小化する理論的裏付けのあるフレームワークを構築すること。
• 一部のドメインでラベル付きデータが存在しない半教師あり設定において、効果的な転移学習を可能にすること。
• 実験的応用を超えて、f-発散最小化の文脈における多項分布敵対的ネットワークの理論的根拠を提供すること。

提案手法

• MANは、複数ドメインからの特徴分布のf-発散を最小化する多項分布識別器を用い、それらの分布を区別できなくする。
• 共有特徴抽出器を用いてドメイン不変の表現を学習し、ドメイン固有の特徴抽出器を用いてプライベートな知識を学習する。
• 2つの変種を提案する：MAN-NLL と MAN-L2。両者とも、特定のf-発散指標（例：カルバック・ライバラー発散やL2発散）を最小化することが証明されている。
• 敵対的最適化を用いてエンドツーエンドでモデルを学習し、識別器はドメインを区別するのを学び、特徴抽出器はそれを欺くのを学ぶ。
• 畳み込みニューラルネットワーク（CNNs）を特徴抽出器として用いる。これは、効率性と性能の両面で優れており、LSTMを上回る速度と精度を達成する。
• 従来の二項分布GANを一般化し、2つではなく複数の分布に対する敵対的訓練を拡張する。

実験結果

リサーチクエスチョン

• RQ1 多項分布敵対的ネットワークは、複数ドメインからの特徴分布の発散を効果的に低減できるか？
• RQ2 f-発散最小化によるドメイン不変の特徴学習を強制することで、多ドメインテキスト分類の性能が向上するか？
• RQ3 MANは、一部のドメインにラベル付きデータが存在しない状況でも、MDTCで最先端の性能を達成できるか？
• RQ4 CMSC や ASP-MTL といった従来手法と比較して、MANはドメイン全体にわたる精度と頑健性において優れているか？
• RQ5 f-発散最小化の文脈において、多項分布敵対的ネットワークにどのような理論的保証を提供できるか？

主な発見

• MANは、外部リソース（例：センチメント語彙）を一切使用せずに、多ドメインアマゾンレビューデータセットにおいて最先端のCMSC手法を著しく上回った。
• FDU-MTLデータセットでは、MANは従来の最高性能を示したASP-MTLを著しく上回り、一般化性能に優れていることが示された。
• ラベル付きデータが全くないドメインにおいても、MANは半教師あり設定において、マルチソースドメイン適応ベースラインを上回る最先端の性能を達成した。
• MAN-NLLはMAN-L2をわずかに上回り、元来のGAN損失（NLL）が一部の先行仮定とは異なり、本質的に劣っているとは限らないという主張を裏付けた。
• MANにおけるCNNベースの特徴抽出器は、先行研究で用いられたLSTMベースの代替手法と比較して、精度が高く、かつ10倍以上高速であった。
• 理論的分析により、MAN-NLLとMAN-L2が特定のf-発散指標の最小化器であることが確認され、多項分布敵対的ネットワークに対する初めての形式的根拠が提供された。