[論文レビュー] Semi-Supervised Learning with Normalizing Flows

Pavel Izmailov, Polina Kirichenko+2 more|arXiv (Cornell University)|Dec 30, 2019

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 7

ひとこと要約

この論文では、正確な尤度を用いてラベル付きデータとラベルなしデータを統合的にモデル化する、正規化フローと潜在空間におけるガウス・ミックスチャネル・モデルを組み合わせた新規な半教師あり学習手法FlowGMMを提案する。エンド・トゥ・エンドの学習が可能であり、解釈可能な意思決定境界、リアルタイムでの特徴可視化、テキスト、表形式、画像データにおいて優れた性能を発揮する。特に生成的モデリングと解釈可能性において、判別的ベースラインを凌駕する。

ABSTRACT

Normalizing flows transform a latent distribution through an invertible neural network for a flexible and pleasingly simple approach to generative modelling, while preserving an exact likelihood. We propose FlowGMM, an end-to-end approach to generative semi supervised learning with normalizing flows, using a latent Gaussian mixture model. FlowGMM is distinct in its simplicity, unified treatment of labelled and unlabelled data with an exact likelihood, interpretability, and broad applicability beyond image data. We show promising results on a wide range of applications, including AG-News and Yahoo Answers text data, tabular data, and semi-supervised image classification. We also show that FlowGMM can discover interpretable structure, provide real-time optimization-free feature visualizations, and specify well calibrated predictive distributions.

研究の動機と目的

• ラベル付きデータとラベルなしデータを単一の確率的モデルで扱い、正確な尤度を用いて統一的かつエンド・トゥ・エンドの生成的半教師あり学習フレームワークを構築すること。
• 正規化フローの可逆構造と潜在空間におけるガウス・ミックスチャネルを活用することで、解釈可能性とモデルの透明性を向上させること。
• 可逆な中間活性化を介して最適化を伴わず、リアルタイムで特徴可視化を実現し、モデルの解釈性を高めること。
• 一貫性に基づく手法がしばしば性能を発揮しないテキストや表形式データにおいても、広範な適用可能性を示すこと。
• 意思決定境界がデータ空間の低密度領域に位置することを検証し、半教師あり学習におけるクラスタリング原理と整合させること。

提案手法

• FlowGMMは、入力空間から潜在空間への可逆的ニューラルネットワーク（正規化フロー）を用い、潜在空間における分布を各クラスごとに1つの成分を有するガウス・ミックスチャネルとしてモデル化する。
• モデルは、フロー変換された潜在分布におけるラベル付きデータおよびラベルなしデータの正確な同時尤度を最大化することで、エンド・トゥ・エンドに学習される。
• 分類は、入力の潜在表現をフローを介して計算し、その近傍に位置するガウス・ミックスチャネル成分の平均に対応するクラスに割り当てる。
• 特徴可視化は、フローの中間層の活性化を摂動させ、最適化を伴わず元のデータ空間に再び逆変換することで実現され、リアルタイムな探索が可能になる。
• フローの可逆性を活用して、潜在空間内の特定のニューロンやチャネルの効果を直接操作・可視化できる。
• 意思決定境界は、潜在空間における2つのクラス条件付き成分の平均を結ぶ線分の垂直二等分線として暗黙的に定義され、自然に低密度領域を指向する。

実験結果

リサーチクエスチョン

• RQ1 正規化フローに基づくモデルは、ラベル付きデータおよびラベルなしデータの両方に対して正確な尤度を用いてエンド・トゥ・エンドの半教師あり学習を達成できるか？
• RQ2 FlowGMMの潜在ガウス・ミックスチャネル構造は、クラスタリング原理が予測するように、データ空間の低密度領域に意思決定境界を置くのか？
• RQ3 正規化フローの可逆構造により、最適化を伴わずリアルタイムで特徴可視化が可能となり、モデルの挙動を明らかにできるか？
• RQ4 一貫性ベースおよびグラフベースの手法がしばしば困難を示す表形式およびテキストデータにおいて、FlowGMMはそれらと比較してどのように性能を発揮するか？
• RQ5 FlowGMMは、多様なデータモダリティにおいて、解釈可能で分離可能な潜在空間表現をどの程度発見できるか？

主な発見

• FlowGMMでは、意思決定境界から距離5以内のラベルなしデータ点の数が著しく削減された。FlowGMM-consでは143点にとどまったが、教師ありベースラインでは1089点であった。これはクラスタリング原理の妥当性を裏付ける。
• モデルは適切にキャリブレーションされた予測分布を生成し、最適化を伴わず中間層の摂動を逆変換することでリアルタイムな特徴可視化を可能にする。
• FlowGMMは、BERT埋め込みを用いた半教師ありテキスト分類および表形式データにおいて、一貫性ベースおよびグラフベースのベースラインを上回る性能を発揮する。
• 本手法は、画像、テキスト、表形式のドメインにおいて、データ空間から現実的なサンプルを生成できることを示し、生成的性能を実証した。
• 潜在空間の構造は解釈可能なクラスタリングを示しており、ラベル付きデータが対応するガウス・ミックスチャネル成分にマッピングされ、意思決定境界が低密度領域に位置している。
• 特徴可視化により、特定のチャネルがランダムな平行移動によるゼロ化されたピクセルや色チャンネルといった構造的パターンに反応することが明らかになり、学習された表現の洞察が得られた。