[論文レビュー] Discovery and Separation of Features for Invariant Representation Learning

Ayush Jaiswal, Rob Brekelmans+4 more|arXiv (Cornell University)|Dec 2, 2019

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 6

ひとこと要約

本論文は、情報理論的アプローチを用いてデータ内の予測因子と雑音因子を発見・分離する、深層学習フレームワークを提案する。この手法により、雑音因子のアノテーションが不要な状態で不変表現学習が可能となる。2つの独立した埋め込み（予測コンテンツ用と雑音要因用）を学習し、回転、ポーズ、照度などの雑音要因に対して完全な不変性を達成しながら、複数のデータセットで最先端の性能を発揮する。

ABSTRACT

Supervised machine learning models often associate irrelevant nuisance factors with the prediction target, which hurts generalization. We propose a framework for training robust neural networks that induces invariance to nuisances through learning to discover and separate predictive and nuisance factors of data. We present an information theoretic formulation of our approach, from which we derive training objectives and its connections with previous methods. Empirical results on a wide array of datasets show that the proposed framework achieves state-of-the-art performance, without requiring nuisance annotations during training.

研究の動機と目的

• スパurious相関が雑音因子と学習されることで、未観測のデータ設定における一般化性能が低下する問題に対処すること。
• 学習時に雑音因子のアノテーションを必要としない不変性を誘導する手法を開発すること。
• 予測因子と雑音因子を独立した埋め込みに分離することで、完全で分離可能な表現を学習すること。
• 先行手法と関連づける理論的根拠に基づいた情報理論的定式化を提供し、不変表現学習を定式化すること。
• 提案フレームワークが多様なベンチマークデータセットにおいて最先端の手法を上回ることを実験的に検証すること。

提案手法

• 予測因子用の $ z_p $ と雑音因子用の $ z_n $ をもつ2つの独立した潜在埋め込みを持つ、変分オートエンコーダに類似したアーキテクチャを採用する。
• 予測損失 $ y $、再構成損失 $ x $、および $ z_p $ と $ z_n $ 間の独立性を強制する情報制約を組み合わせた共同学習目的関数を導入する。
• 情報理論的定式化から2つの同等の学習目的関数を導出し、$ z_p $ が雑音要因に対して不変であると同時に、予測内容を保持することを保証する。
• 情報制約は、$ z_p $ と雑音因子間の相互情報量の最小化により強制され、分離性が促進される。
• 情報理論的目的関数の微分可能近似を用いて端末から端末への学習を実現し、勾配ベース最適化が可能となる。
• データセットに応じて全結合層または畳み込み層を用いたアーキテクチャを実装し、予測と再構成のための別々のヘッドを設ける。

実験結果

リサーチクエスチョン

• RQ1 アノテーションされた雑音ラベルがなくても、深層ニューラルネットワークがデータ内の予測因子と雑音因子を分離できるか。
• RQ2 情報理論的フレームワークをどのように設計すれば、表現の不変性を誘導しつつ予測情報を保持できるか。
• RQ3 本手法とUAIなどの先行手法との関係は何か。また、それらをどのように改善しているか。
• RQ4 本フレームワークは、分布外の回転角度や照度変化などの未観測な雑音設定に対し、どの程度一般化可能か。
• RQ5 学習された $ z_p $ 埋め込みは、雑音要因に対して不変でありつつ、下流タスクで高い予測精度を達成できるか。

主な発見

• MNIST-ROTデータセットでは、提案フレームワークのすべてのバージョンが最先端の $ y $-正解率を達成した（例：DSF-Hは先行SOTAを上回った）が、$ s $-正解率は0.20（ランダムチョイスの水準）に留まり、回転に対して完全な不変性を示した。
• MNIST-DILでは、筆圧制御の明示的制御がなくても、$ z_p $ に予測情報がより多く保持されており、従来手法を上回った。
• Multi-PIEでは、ポーズと照度の両方で $ y $-正解率と $ s $-正解率が高く、t-SNE可視化により雑音因子が $ z_n $ に分離されていることが確認された。
• Chairsデータセットでは、先行手法を上回る $ y $-正解率を達成し、方向性の $ s $-正解率が0.25（ランダムチョイスの水準）に達した。これは、$ s $-ラベルの監督なしに不変性が確認されたことを示している。
• すべてのデータセットにおける $ z_p $ と $ z_n $ のt-SNE可視化により、予測コンテンツが $ z_p $ に保持されている一方で、ヨー角、照度、ポーズなどの雑音因子が $ z_n $ に分離されていることが確認された。
• 理論的分析により、本フレームワークはUAIモデルを上回ることが示された。これは、情報制約を明示的に用いて分離性を強制するためである。