[論文レビュー] Semi-Conditional Normalizing Flows for Semi-Supervised Learning

Andrei Atanov, Alexandra Volokhova+3 more|arXiv (Cornell University)|May 1, 2019

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 22

ひとこと要約

本稿では、半教師あり正規化フロー（SCNF）を提案する。これは、半教師ありアーキテクチャを用いた正規化フローを用いて、データ分布とラベル分布を同時にモデル化する深層生成モデルである。条件付き結合層とマルチスケールフロー構造を採用することで、正確な尤度最適化と未ラベルデータの効率的な周辺尤度計算を実現し、MNISTで最先端の性能を達成するとともに、半教師ありVAEを上回る。

ABSTRACT

This paper proposes a semi-conditional normalizing flow model for semi-supervised learning. The model uses both labelled and unlabeled data to learn an explicit model of joint distribution over objects and labels. Semi-conditional architecture of the model allows us to efficiently compute a value and gradients of the marginal likelihood for unlabeled objects. The conditional part of the model is based on a proposed conditional coupling layer. We demonstrate performance of the model for semi-supervised classification problem on different datasets. The model outperforms the baseline approach based on variational auto-encoders on MNIST dataset.

研究の動機と目的

• 教師あり学習におけるラベル付きデータの限界を、大規模な未ラベル付きデータを活用することで解決すること。
• ラベル付きおよび未ラベル付きデータの両方について、計算可能な結合尤度推定を可能にする深層生成モデルの開発。
• 半教師あり設定における未ラベル付きオブジェクトの周辺尤度計算を効率的に行える正規化フローアーキテクチャの設計。
• 正規化フローが、半教師あり学習に有用な非判別的で分離可能な表現を暗黙的に学習できるかの検討。
• 標準的な半教師あり分類ベンチマークにおけるモデルの性能を評価し、半教師ありVAEなどの既存手法と比較すること。

提案手法

• 本モデルは、ラベルを条件としてフロー変換を行う半教師あり正規化フロー構造を採用し、$ p_{\theta}(x,y) $ の結合モデリングを可能にする。
• 標準的な結合層を拡張し、ラベルに依存する変換を可能にするとともに、計算可能なヤコビアン行列式を保証する、新規の条件付き結合層を導入する。
• マルチスケールフロー構造により、潜在次元を低減し、意味的情報を保持するとともに、未ラベル付きデータの周辺尤度計算を効率化する。
• 結合尤度 $ p_{\theta}(x,y) $ は $ p_{\theta}(x|y)p(y) $ に因数分解され、$ p(y) $ は一様事前分布、$ p_{\theta}(x|y) $ は条件付きフローでモデル化される。
• 未ラベル付きデータの周辺尤度 $ p_{\theta}(x) $ は、全クラスにわたる和集合として計算され、計算可能な変数変換公式を活用する。
• モデルは、正確な対数尤度目的関数（1）のエンドツーエンド最適化を可能にし、変分近似を回避する。

実験結果

リサーチクエスチョン

• RQ1 計算可能な尤度を有するように、正規化フローを半教師あり学習に効果的に適応できるか、特に $ p_{\theta}(x,y) $ の結合分布をモデル化することで。
• RQ2 半教師あり正規化フロー構造が、未ラベル付きデータの周辺尤度を効率的かつ正確に計算可能か。
• RQ3 条件付きフローからの潜在表現 $ z_h $ が、ラベル $ y $ から分離可能であるか、すなわち非判別的表現として機能するか。
• RQ4 分類精度と尤度最適化の安定性の観点から、提案手法は半教師ありVAEと比較してどのように差をつけるか。
• RQ5 モデルのアーキテクチャが本質的にデータの難読化を提供するか、そしてその性質が公平または耐性のある学習に活用可能か。

主な発見

• 提案されたSCNFモデルは、MNISTデータセットにおいてベースラインの半教師ありVAE（Kingma et al., 2014）を上回り、優れた分類精度を示した。
• 変分推論に依存せず、正確な尤度最適化が可能であり、対数尤度目的関数の直接最大化が実現された。
• 条件付きフローからの潜在表現 $ z_h $ は、ラベル $ y $ とは独立であることが確認され、判別的および非判別的特徴の有効な分離が示された。
• t-SNE可視化により、$ z_h $ の表現はクラスに依存しないことが確認された一方、$ z_f $ の表現は $ y $ に強く依存していた。
• フロー構造の設計に起因する、内在的なデータ難読化メカニズムが存在し、半教師あり公平学習に有益である可能性がある。
• より複雑なデータセットでは、隠れフロー部に分類損失を適用することで性能を向上させられるが、それでもデータオーグメンテーション手法に劣る場合がある。