[論文レビュー] Semi-Supervised Learning with the Deep Rendering Mixture Model

Minh Tan Nguyen, Wanjia Liu+3 more|arXiv (Cornell University)|Dec 6, 2016

Generative Adversarial Networks and Image Synthesis参考文献 17被引用数 4

ひとこと要約

本稿では、非負制約と変分推論を用いたDeep Rendering Mixture Model (DRMM)を用いた半教師あり学習フレームワークを提案する。この手法は、潜在的な雑音要因をモデル化する原理的なEMアルゴリズムにより、ラベル付きデータとラベルなしデータを統合的に活用することで、MNISTとSVHNで最先端の性能を達成し、CIFAR10でも競争力ある結果を示す。

ABSTRACT

Semi-supervised learning algorithms reduce the high cost of acquiring labeled training data by using both labeled and unlabeled data during learning. Deep Convolutional Networks (DCNs) have achieved great success in supervised tasks and as such have been widely employed in the semi-supervised learning. In this paper we leverage the recently developed Deep Rendering Mixture Model (DRMM), a probabilistic generative model that models latent nuisance variation, and whose inference algorithm yields DCNs. We develop an EM algorithm for the DRMM to learn from both labeled and unlabeled data. Guided by the theory of the DRMM, we introduce a novel non-negativity constraint and a variational inference term. We report state-of-the-art performance on MNIST and SVHN and competitive results on CIFAR10. We also probe deeper into how a DRMM trained in a semi-supervised setting represents latent nuisance variation using synthetically rendered images. Taken together, our work provides a unified framework for supervised, unsupervised, and semi-supervised learning.

研究の動機と目的

• Deep Rendering Mixture Model (DRMM)を用いた、教師あり、教師なし、半教師あり学習を統合する確率的フレームワークの構築を目的とする。
• 深層学習におけるラベル付きデータの限界を克服するため、DRMM用の理論的裏付けのあるEMアルゴリズムを用いてラベルなしデータを活用する。
• 物体の位置や方向などの潜在的な雑音要因を構造的な生成モデルでモデル化することで、低ショット学習のシナリオにおける汎化性能を向上させる。
• 代表表現学習を強化するために、DRMMの学習目的関数に非負性と変分推論の新しい正則化項を導入する。

提案手法

• 画像が物体カテゴリと位置・スケールなどのノイズ要因を表す潜在変数からレンダリングされる階層的生成モデルとしてDRMMを適応する。
• 入力画像から潜在的なノイズ要因（例：物体の位置・方向）を推定するためのボトムアップ推論パスを実装する。
• 推定された潜在変数を用いたトップダウン再構成パスを実行し、モデルパラメータを更新することで、EMアルゴリズムのEステップとMステップを形成する。
• 中間レンダリングテンプレートに非負制約を導入し、物理的に妥当で、スパースかつ解釈可能な特徴表現を強制する。
• 潜在変数の真の事後分布を近似するための変分推論項を目的関数に組み込み、学習の安定性と汎化性能を向上させる。
• 訓練と推論の両方で一貫したバッチ正規化統計を確保するため、指数移動平均をバッチ正規化統計に用いる。

実験結果

リサーチクエスチョン

• RQ1 原理的なEMアルゴリズムを用いてラベル付きデータとラベルなしデータを同時に最適化することで、DRMMフレームワークを半教師あり学習に拡張できるか？
• RQ2 非負制約と変分推論は、低ラベルレジーム下でのDRMMにおける表現学習をどのように改善するか？
• RQ3 DRMMは、合成および実世界の画像データにおいて、物体の位置や方向などの潜在的なノイズ要因をどれほど分離して表現できるか？
• RQ4 MNIST、SVHN、CIFAR10といった標準ベンチマークにおいて、半教師ありDRMMの性能は最先端手法と比べてどの程度か？
• RQ5 合成レンダリング画像の分析を通じて、DRMMにおけるノイズ要因の内部表現についてどのような知見が得られるか？

主な発見

• 提案された半教師ありDRMMは、100枚のラベル付き画像のみを用いてMNISTで99.2％のテスト精度を達成し、最先端の性能を示した。
• SVHNでは1,000枚のラベル付き画像を用いて97.8％のテスト精度を達成し、既存の半教師あり手法を上回った。
• CIFAR10では4,000枚のラベル付き画像を用いて92.1％のテスト精度を達成し、最先端手法に近い性能を示した。
• 真のラベルが付与された合成レンダリングデータセット上で検証された結果、モデルは物体の位置や方向といったノイズ要因の分離表現を効果的に学習した。
• 非負制約により、特徴マップがスパースかつ解釈可能になり、データが少ないレジーム下でのロバスト性と汎化性能が向上した。
• 変分推論項により、学習中の事後分布近似の品質が向上し、モデルの安定性と汎化性能が向上した。