[論文レビュー] Discovering Hidden Factors of Variation in Deep Networks

Brian Cheung, Jesse A. Livezey+2 more|arXiv (Cornell University)|Dec 1, 2014

Face recognition and analysis被引用数 26

ひとこと要約

本論文では、自己符号化器におけるクロス共分散ペナルティ（XCov）正則化を用いて、主な分類信号を超えて、手書きスタイル（MNISTの数字など）や顔画像における被験者本人の特定（subject identity）といった隠れ要因の変動要因を分離し、明示的に表現する手法を提案する。このアプローチにより、深層ネットワークはデータの未知の変動を発見し、表現し、外挿する能力を獲得でき、MNIST、TFD、Multi-PIEのデータセットで制御可能な操作データの生成が実証された。

ABSTRACT

Deep learning has enjoyed a great deal of success because of its ability to learn useful features for tasks such as classification. But there has been less exploration in learning the factors of variation apart from the classification signal. By augmenting autoencoders with simple regularization terms during training, we demonstrate that standard deep architectures can discover and explicitly represent factors of variation beyond those relevant for categorization. We introduce a cross-covariance penalty (XCov) as a method to disentangle factors like handwriting style for digits and subject identity in faces. We demonstrate this on the MNIST handwritten digit database, the Toronto Faces Database (TFD) and the Multi-PIE dataset by generating manipulated instances of the data. Furthermore, we demonstrate these deep networks can extrapolate `hidden' variation in the supervised signal.

研究の動機と目的

• 主な分類信号を超えて、要因の分離表現を学習するという深層ネットワークの限界を解消すること。
• 数字の手書きスタイルや顔画像における被験者本人の特定といった、隠れ要因の変動を発見し、明示的に表現すること。
• 教師信号のみを用いて、深層ネットワークが訓練データにない変動を外挿できるようにすること。
• 各要因に対して明示的な教師信号を必要とせず、要因の分離を促進する正則化技術を開発すること。

提案手法

• 自己符号化器の学習中に、潜在要因間の統計的依存性を最小化するため、クロス共分散ペナルティ（XCov）を正則化項として導入する。
• 標準的な深層自己符号化器アーキテクチャにXCovを適用し、学習された潜在空間におけるスタイルやコンテンツといった要因の分離を促進する。
• 正則化された自己符号化器を用いて、特定の分離済み要因を補間または変更することで、操作済みのデータインスタンスを生成する。
• 分類ラベルのみを用いて標準データセット（MNIST、TFD、Multi-PIE）を学習するが、分類とは関係のない要因も表現できるようにする。
• 異なる潜在要因成分間の共分散をペナルティとする、単純で微分可能な正則化項を採用する。
• 分離済み表現を活用して、訓練データに存在しない変動をゼロショットで生成する。

実験結果

リサーチクエスチョン

• RQ1 標準的な深層自己符号化器は、これらの要因に対して明示的な教師信号がなくても、隠れ要因の変動を発見し、表現できるか？
• RQ2 クロス共分散ペナルティ（XCov）は、画像データにおける手書きスタイルや本人特定といった要因の分離にどの程度効果的か？
• RQ3 学習済み表現は、訓練セットに存在しない変動に対しても、外挿可能か？
• RQ4 分類ラベルとXCov正則化のみを用いて、どの程度分離済みの表現を生成・制御できるか？

主な発見

• XCov正則化は、MNISTにおける手書きスタイルや顔画像における被験者本人の特定といった要因を効果的に分離し、これらの属性を制御可能にしている。
• 特定の分離済み要因を変更することで、妥当で多様なデータインスタンスが生成され、隠れ変動に対する明示的制御が可能であることが示された。
• 分類ラベルのみを用いても、ネットワークは訓練データにない変動、たとえば新しい手書きスタイルや被験者本人の特定を表現し、外挿することが可能である。
• 個々の要因に対して弱教師付きまたは自己教師付き信号を必要とせず、XCovペナルティのみに依存して分離を達成している。
• この手法はデータセットに跨って一般化でき、MNIST、トロント・フェイス・データベース（TFD）、Multi-PIEで一貫した分離性能を示している。
• 特定の潜在要因を変更した際、生成されたサンプルに意味的かつ意味的に整合した変化が見られ、学習済み表現の解釈可能性が確認された。