[論文レビュー] Disentangling Factors of Variation via Generative Entangling

Guillaume Desjardins, Aaron Courville+1 more|arXiv (Cornell University)|Oct 19, 2012

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 78

ひとこと要約

本稿では、複数のバイナリ潜在変数の生成的エンタングルメントを通じて、データ内の変動要因を分離する高次スパイクアンドスラブ制限ボルツマンマシン（hossRBM）を提案する。潜在要因間の乗法的相互作用をモデル化することで、教師なしの方法で顔のアイデンティティや表情といった、背後にある変動要因を推論・分離する。トレーニング段階でラベル情報を用いずに、顔の表情分類タスクで最先端の性能を達成した。

ABSTRACT

Here we propose a novel model family with the objective of learning to disentangle the factors of variation in data. Our approach is based on the spike-and-slab restricted Boltzmann machine which we generalize to include higher-order interactions among multiple latent variables. Seen from a generative perspective, the multiplicative interactions emulates the entangling of factors of variation. Inference in the model can be seen as disentangling these generative factors. Unlike previous attempts at disentangling latent factors, the proposed model is trained using no supervised information regarding the latent factors. We apply our model to the task of facial expression classification.

研究の動機と目的

• 教師なしのラベルを必要とせず、データ内の複数のエンタングルされた変動要因を分離可能な深層生成モデルの開発を目的とする。
• 従来のプーリングベースの手法が詳細な特徴表現を抽象化し、不完全なデータ表現を生じさせることの限界を是正すること。
• バイナリ潜在変数間の高次相互作用が、複雑な生成的エンタングルメントをモデル化し、推論によって有効な分離を可能にするかを検討すること。
• 教師なし事前学習に基づく、分離された表現が顔の表情分類などの下流タスクにどのように有用であるかを評価すること。
• 分離された表現が、標準的なプーリングベースのモデルや非分離モデルよりも分類精度で優れていることを実証すること。

提案手法

• スパイクアンドスラブ制限ボルツマンマシン（ssRBM）を拡張し、複数のバイナリ潜在変数間の高次相互作用を導入。スパイク変数と2つのスラブ変数グループ（gおよびhユニット）の3方向相互作用を形成する。
• 生成プロセスを、潜在要因（例：アイデンティティと表情）の乗法的相互作用が複雑なデータパターンを生成するエンタングルメカニズムとしてモデル化する。
• スパイク変数および2つのプーリンググループ（gおよびh）に対応する構造的重みテンソルWを用い、ブロック間で空間的に一貫性のある特徴学習を可能にする。
• 教師なしの近似最尤学習を用いて、分離された要因のラベルを必要とせずにモデルパラメータを学習する。
• 潜在変数の事後分布を計算することで推論を実行し、観測データに寄与する各要因の寄与を効果的に分離する。
• 学習された表現を線形SVMの入力として用い、顔の表情分類タスクにおける性能を評価し、要因分解済みおよび非要因分解済みの表現を比較する。

実験結果

リサーチクエスチョン

• RQ1 バイナリ潜在変数間の高次相互作用は、データ内の複数の変動要因のエンタングルメントを効果的にモデル化できるか？
• RQ2 このようなモデルの教師なし学習が、下流の分類タスクに有用な分離された表現をもたらすか？
• RQ3 分離された表現の性能は、標準的なプーリングベースのモデルや非分離モデルと比較して、顔の表情認識でどのように異なるか？
• RQ4 要因のラベルなしに、モデルが意味的で解釈可能な特徴グループ（例：アイデンティティ対表情）を学習できるか？
• RQ5 分離後（後処理後）の要因分解表現は、完全で非要因分解済みの表現よりも分類精度が向上するか？

主な発見

• hossRBMは、要因分解表現を用いてトロント・フェイスデータセットで77.4%のテスト精度を達成し、すべてのベースラインモデルを上回った。
• K=330、M=3、N=3の設定が、全テスト設定の中で最高のテスト精度（77.4%）を達成し、高次分離の有効性を示した。
• 全モデルサイズにおいて、要因分解済み表現が非要因分解済み表現を一貫して上回り、分離がより情報豊かな特徴をもたらすことを確認した。
• 各ブロック内の学習済みフィルタは全体的な一貫性を示し、アイデンティティおよび感情のサブセットに特化しており、gユニットが感情を、hユニットがアイデンティティをエンコードしていた。
• モデルの性能（77.4%）はピクセルレベルのSVM（71.5%）やMLP（72.72%）を上回り、より複雑な深層モデル（mPoT：82.4%）と同等の性能を示した。
• 結果から、教師なしラベルなしの分類タスクにおいて、潜在要因の生成的エンタングルメントによる分離が表現品質を向上させることを裏付けた。