[論文レビュー] Deep Variational Sufficient Dimensionality Reduction

Ershad Banijamali, Amir-Hossein Karimi+1 more|arXiv (Cornell University)|Dec 18, 2018

Generative Adversarial Networks and Image Synthesis参考文献 10被引用数 6

ひとこと要約

本稿では、分類のための予測情報を保持する低次元の潜在的表現を学習する深層生成モデルであるDeep Variational Sufficient Dimensionality Reduction (DVSDR)を提案する。SDRを変分オートエンコーダーの枠組みに組み込み、同時尤度の下界を最大化することで、DVSDRは半教師あり学習を可能にするとともに、MNISTおよびFashion-MNISTで競争力ある分類精度を達成しながら、高品質なサンプル生成も実現する。

ABSTRACT

We consider the problem of sufficient dimensionality reduction (SDR), where the high-dimensional observation is transformed to a low-dimensional sub-space in which the information of the observations regarding the label variable is preserved. We propose DVSDR, a deep variational approach for sufficient dimensionality reduction. The deep structure in our model has a bottleneck that represent the low-dimensional embedding of the data. We explain the SDR problem using graphical models and use the framework of variational autoencoders to maximize the lower bound of the log-likelihood of the joint distribution of the observation and label. We show that such a maximization problem can be interpreted as solving the SDR problem. DVSDR can be easily adopted to semi-supervised learning setting. In our experiment we show that DVSDR performs competitively on classification tasks while being able to generate novel data samples.

研究の動機と目的

• 高次元観測から離散的ラベル変数に関するすべての予測情報を保持する低次元の潜在空間を学習する課題に対処すること。
• 変分推論を用いて十分次元削減（SDR）を深層生成モデルに統合し、一般化性能とスケーラビリティを向上させること。
• 再構成と分類を両立する共有潜在空間を介して未ラベルデータを活用することで、半教師あり学習を可能にすること。
• 学習済み潜在空間上の事前分布からサンプリングすることで、現実的で新しいデータサンプルを生成すること。
• モデルが優れた生成能力を維持しつつ、競争力ある分類性能を達成できることを示すこと。

提案手法

• 潜在変数zがxとyを条件付き独立にするとみなす確率的グラフィカルモデルとしてSDRを定式化する：y ⊥ x | z。
• 同時分布p(x, y)の対数尤度の変分下界を用い、再構成項とKLダイバージェンスに分解する。
• エンコーダqϕ(z|x)、デコーダpθ(x|z)、分類器pψ(y|z)を深層ニューラルネットワークでパラメータ化し、エンドツーエンド学習を可能にする。
• p(z) = N(0, I)を前提として、変分下界Lϕ,θ,ψ(x,y) = E[log pθ(x|z)] + E[log pψ(y|z)] - KL(qϕ(z|x) || p(z)) を最大化する。
• ラベル付きデータは再構成と分類の両方を最適化し、ラベルなしデータは再構成のみを最適化するように目的関数を分割することで、半教師あり学習に適応する。
• バックプロパゲーションを可能にするための再パrameterizationトリックを用い、z ~ p(z)からサンプリングしてxにデコードすることで生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層変分オートエンコーダーの枠組みは、SDR設定において分類に必要なすべての情報を保持する低次元潜在空間を効果的に学習できるか？
• RQ2 VAE や AAE といった既存の深層生成モデルと比較して、提案されたDVSDRモデルの分類精度とサンプル生成品質はどのように評価できるか？
• RQ3 DVSDRは、ラベルが極めて限られた状況において、未ラベルデータをどれだけ効果的に活用できるか？
• RQ4 学習された潜在空間の分離構造は、クラス固有のサンプルを意味的に生成可能にするか？
• RQ5 低次元表現において、高い再構成品質を維持しつつ、強力な予測性能を達成できるか？

主な発見

• DVSDRは、すべてのラベル付きサンプルを用いてMNISTで0.80 ± 0.04の分類誤差率を達成し、AAE（0.86 ± 0.03）およびVAE（0.96 ± 0.03）を上回る性能を示した。
• ラベル付きサンプルがたった1,000個の場合、AAEがDVSDRを上回る性能を示した。これは、AAEの潜在空間への直接的な監視が、極めてラベルが少ない状況ではより効果的である可能性を示唆している。
• DVSDRは事前分布p(z)から高品質な画像を生成でき、潜在空間に混合ガウス分布をフィットさせた際、明確なクラス分離が観察された。
• モデルは、潜在次元が2、10、15の状況において、MNISTおよびFashion-MNISTの両データセットから再構成とサンプル生成を成功させた。
• 半教師あり学習の変種であるDVSDRは、ラベル付きおよびラベルなしデータ間でエンコーダとデコーダを共有することで、未ラベルデータを効果的に活用し、表現学習を向上させた。
• 学習された潜在空間には強い分離性が見られ、フィットされた混合ガウスモデルの異なる成分からサンプリングすることで、クラス固有のサンプルを生成可能であった。