[論文レビュー] On Nonparametric Guidance for Learning Autoencoder Representations

Jasper Snoek, Ryan P. Adams+1 more|arXiv (Cornell University)|Feb 8, 2011

Gaussian Processes and Bayesian Inference参考文献 24被引用数 12

ひとこと要約

本稿では、ラベル情報への滑らかな写像を明示的にパrameter化せずに、潜在表現からラベル情報への写像を暗黙的に強制する非パrametricなガイド機構を提案する。これらの写像について周辺化を行うことで、分類的表現学習が向上し、畳み込み層を含まないNORBデータセットにおいて、94.28%の精度を達成するSOTA性能を発揮するとともに、照明や回転といった関係のない変化を効果的に分離する。

ABSTRACT

Unsupervised discovery of latent representations, in addition to being useful for density modeling, visualisation and exploratory data analysis, is also increasingly important for learning features relevant to discriminative tasks. Autoencoders, in particular, have proven to be an effective way to learn latent codes that reflect meaningful variations in data. A continuing challenge, however, is guiding an autoencoder toward representations that are useful for particular tasks. A complementary challenge is to find codes that are invariant to irrelevant transformations of the data. The most common way of introducing such problem-specific guidance in autoencoders has been through the incorporation of a parametric component that ties the latent representation to the label information. In this work, we argue that a preferable approach relies instead on a nonparametric guidance mechanism. Conceptually, it ensures that there exists a function that can predict the label information, without explicitly instantiating that function. The superiority of this guidance mechanism is confirmed on two datasets. In particular, this approach is able to incorporate invariance information (lighting, elevation, etc.) from the small NORB object recognition dataset and yields state-of-the-art performance for a single layer, non-convolutional network.

研究の動機と目的

• 分類タスクに有用な潜在表現を自動符号化器に導くために、ラベル写像を明示的にパrameter化せずに、その課題に対処すること。
• 照明や高度変化などの不要なデータ変換に対して不変性を実現するため、それらの情報を非パrametricに組み込むこと。
• 潜在空間からラベル情報への滑らかで非パrametricな写像が存在することを保証することで、表現品質を向上させること。パラメトリックな形を固定しない。
• ガウス過程による関数的写像の周辺化が、パラメトリックな代替手法よりも優れた一般化性能をもたらすことを示すこと。

提案手法

• 本手法は、自動符号化器の潜在空間をガウス過程潜在変数モデル（GPLVM）の入力空間とみなす。ラベルを可視出力として扱う。
• バックコンストレイント付きGPLVMを用い、自動符号化器とGPを同時に学習することで、潜在コードからラベルへのすべての可能な写像について周辺化する。
• 異なる隠れユニットの部分集合に別々のGPを適用し、各ラベルタイプに合わせたカーネルを設定する：離散クラスには線形、角度（方位）ラベルには周期的カーネル、連続ラベル（高度）には標準的なGPを用いる。
• ラベルタイプごとに柔軟なカーネル選択が可能であり、特に回転不変性を実現する周期的カーネルの適用が、パラメトリックモデルでは困難な課題を効果的に解決する。
• 20%のピクセルノイズを含むノイズ除去自動符号化器の目的関数を用いて、エンドツーエンドでモデルを学習し、学習済み隠れユニット上でロジスティック回帰によるテスト性能を評価する。
• 分類器を固定するのを避けるために、ラベル予測を非パラメトリックな推論問題として扱い、下流タスクにおける柔軟性を維持する。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程による非パラメトリックなガイドによって、ラベル写像を明示的にモデル化せずに、自動符号化器の表現の分類的有用性を向上させることができるか？
• RQ2 潜在コードからラベルへの関数的写像について周辺化することで、パラメトリックなガイド（例：ロジスティック回帰）よりも一般化性能が向上するか？
• RQ3 非パラメトリックなラベル信号として、照明や回転といった不要な変動要因を組み込むことで、モデルがそれらの不変性を効果的に学習できるか？
• RQ4 ラベル情報の種別に応じて、カーネルの選択（例：周期的 vs. 線形）が性能に与える影響は何か？

主な発見

• 非パラメトリックなガイド付き自動符号化器は、NORBデータセットで94.28%のテスト精度を達成し、浅い非畳み込みモデルにおいて新たなSOTAを樹立した。
• すべての4つのラベル（クラス、照明、高度、方位）をGPでガイドしたモデルは、クラスラベルのみをガイドするモデルやパラメトリックなロジスティック回帰を用いたモデルよりも顕著に優れた性能を示した。
• 4つのGPと非線形カーネルを用いたモデルは、パラメトリックなガイド（86%精度）および単一ラベルの非パラメトリックガイドよりもテスト誤差を低減した。
• クラスGPによってガイドされた1200ユニットのみで学習したロジスティック回帰分類器は94.02%の精度を達成し、潜在空間の半分が分類的構造を捉えており、最小限の損失で十分な表現力を有していることを示した。
• すべてのラベルに線形カーネルを用いた実験では、クラスラベルのみをガイドした場合（93.03%）より性能が悪く（92.09%）、非パラメトリックガイドにおいてカーネル選択の重要性が浮き彫りになった。
• 方位ラベルに周期的カーネルを用いることで、回転不変性の効果的なモデル化が可能となり、標準的なパラメトリックモデルでは困難な能力を実現した。