[論文レビュー] Learning unbiased features

Yujia Li, Kevin Swersky+1 more|arXiv (Cornell University)|Dec 17, 2014

Domain Adaptation and Few-Shot Learning参考文献 11被引用数 17

ひとこと要約

本稿では、深層ニューラルネットワークにおける偏りのないドメイン不変表現を学習するために、Maximum Mean Discrepancy (MMD) を正則化子として使用することを提案する。ソースドメインとターゲットドメインの特徴量の間のMMDを最小化することで、ドメイン間の転移学習性能が向上し、センチメント分類タスクにおいてベースラインを上回り、ノイズや照明変化に対して頑健であることが示された。

ABSTRACT

A key element in transfer learning is representation learning; if representations can be developed that expose the relevant factors underlying the data, then new tasks and domains can be learned readily based on mappings of these salient factors. We propose that an important aim for these representations are to be unbiased. Different forms of representation learning can be derived from alternative definitions of unwanted bias, e.g., bias to particular tasks, domains, or irrelevant underlying data dimensions. One very useful approach to estimating the amount of bias in a representation comes from maximum mean discrepancy (MMD) [5], a measure of distance between probability distributions. We are not the first to suggest that MMD can be a useful criterion in developing representations that apply across multiple domains or tasks [1]. However, in this paper we describe a number of novel applications of this criterion that we have devised, all based on the idea of developing unbiased representations. These formulations include: a standard domain adaptation framework; a method of learning invariant representations; an approach based on noise-insensitive autoencoders; and a novel form of generative model.

研究の動機と目的

• ドメインシフト、タスク固有のバイアス、または関係のないデータの変動に対して偏りのない表現を学習する深層学習モデルの開発。
• 大規模学習におけるラベル付きデータの限界を克服し、ドメイン間で転送可能で不変な特徴を学習することによる、限られたラベル付きデータの問題への対処。
• ソースドメインとターゲットドメイン間の分布的差異を最小化することで、転移学習における一般化性能の向上。
• 教師あり、教師なし、生成モデル作成の複数の学習シナリオにわたる統一的なフレームワークを、MMDを正則化子として用いることによる提供。
• TCA やノイズ除去オートエンコーダーといった従来手法の限界を克服し、エンドツーエンドのMMD正則化付き深層ネットワークを用いること。

提案手法

• ソースドメインとターゲットドメインの特徴表現間の分布的距離としてMMDを用い、ドメイン不変性を強制する。
• 深層ニューラルネットワークの損失関数にMMDをペナルティ項として適用し、特徴学習と分類の両方を同時に最適化する。
• カーネル法を用いて特徴を再生核ヒルバート空間へ暗黙的に写像することで、非線形な分布マッチングを可能にする。
• オートエンコーダーの学習にMMDを統合し、綺麗な入力とノイズのある入力の隠れ活性化量のMMDを最小化することで、ノイズに頑健な表現を学習する。
• 生成モデル作成において、MMDを直接的目標として用い、生成データ分布と実データ分布をマッチさせることで、ミニマックス訓練を回避する。
• MMD損失をバックプロパゲーション可能にすることで、MMD正則化付きのエンドツーエンドの深層モデル学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 MMDに基づく正則化は、ラベル付きターゲットデータが不要な状況でも、転移学習におけるドメインシフトを効果的に低減できるか？
• RQ2 照明やノイズの変動が生じる条件下でも、MMD正則化付きの深層ネットワークが不変表現をどれほど効果的に学習できるか？
• RQ3 ノイズに頑健な特徴を学習するうえで、MMD正則化は従来のノイズ除去オートエンコーダーやコントラクト型オートエンコーダーを上回るか？
• RQ4 生成モデル作成において、ミニマックス訓練の代替としてMMDが安定した単一目的関数として使用可能か？
• RQ5 現実世界の転移学習シナリオにおいて、MMD正則化は多様なデータ分布間で一般化性能をどの程度向上させるか？

主な発見

• MMD正則化付きニューラルネットワークは、B→Dのセンチメント分類タスクで79.2%の精度を達成し、TCA（76.9%）と標準的なニューラルネット（78.3%）を上回った。
• K→Dタスクにおいて、MMDモデルは標準誤差1.0%を伴い75.0%の精度を達成し、ベースラインNN（72.7%）とTCA（73.3%）を顕著に上回った。
• MMDオートエンコーダーは、綺麗なデータとノイズのあるデータを分類するSVMで61.1%の精度を示し、DAE（82.5%）とCAE（77.9%）に比べて優れたノイズ不変性を示した。
• 生成モデル作成において、MMDベースの手法はミニマックス最適化を必要とせず、意味のある特徴を学習し、リアルなMNISTサンプルを生成できた。
• E→Kのセンチメントタスクにおいて、MMD正則化モデルは85.2%の精度を達成し、最高のベースライン（RBF SVMで82.0%）を上回り、すべてのドメイン適応タスクで頑健性を示した。
• 驚くべきことに、ノイズ除去オートエンコーダーはMMD正則化モデルに比べてノイズ不変性で劣っており、ノイズ除去が必ずしも頑健な表現を保証しないことが示唆された。