[論文レビュー] Disentangling representations in Restricted Boltzmann Machines without adversaries

Jorge Fernández-de-Cossio-Díaz, Simona Cocco+1 more|arXiv (Cornell University)|Jun 23, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、敵対的訓練に依存せずに、学習中に重み制約を課すことにより、制限ボルツマンマシン（RBMs）における表現の分離を実現する制約ベースの手法を提案する。この手法により、ラベル情報が隠れユニットの一部に集中するように制御され、対数尤度のわずかな損失で解釈可能で制御可能な生成が可能となる。さらに、ポアンカレの分離定理を用いて、分離のコストを解析的に計算可能である。

ABSTRACT

A goal of unsupervised machine learning is to build representations of complex high-dimensional data, with simple relations to their properties. Such disentangled representations make easier to interpret the significant latent factors of variation in the data, as well as to generate new data with desirable features. Methods for disentangling representations often rely on an adversarial scheme, in which representations are tuned to avoid discriminators from being able to reconstruct information about the data properties (labels). Unfortunately adversarial training is generally difficult to implement in practice. Here we propose a simple, effective way of disentangling representations without any need to train adversarial discriminators, and apply our approach to Restricted Boltzmann Machines (RBM), one of the simplest representation-based generative models. Our approach relies on the introduction of adequate constraints on the weights during training, which allows us to concentrate information about labels on a small subset of latent variables. The effectiveness of the approach is illustrated with four examples: the CelebA dataset of facial images, the two-dimensional Ising model, the MNIST dataset of handwritten digits, and the taxonomy of protein families. In addition, we show how our framework allows for analytically computing the cost, in terms of log-likelihood of the data, associated to the disentanglement of their representations.

研究の動機と目的

• 敵対的訓練に依存しない非教師ありモデルにおける分離表現の学習手法を開発すること。敵対的訓練は数値的に不安定であることが知られている。
• ラベル関連情報が少数の潜在変数に集中することで、生成データに対する解釈可能で制御可能な操作を可能にすること。
• 分離の尤度コストを解析的に計算可能なフレームワークを提供すること。
• 画像、物理的、生物学的データを含む多様なデータセットにおいて、有効性を示すこと。
• 分離と特徴の直交性モデリングの両方を実現する部分的および完全な制約付きRBMsアーキテクチャの検討。

提案手法

• 学習中にRBMsの重みに明示的な制約を課すことにより、データラベルに関する情報が隠れユニットの一部に限定されるように制御する。
• 線形制約を適用し、特定の隠れユニットがクラス中心間の相対的差に一致するように、プロトタイプに類似した表現をエンコードするように強制する。
• 部分的制約付きRBMsを用いて、ラベル関連特徴を分離しつつ、制約のない隠れユニットによりデータ生成品質を維持する。
• 完全制約付きRBMsを用いて、ラベルとは直交する特徴をモデル化し、構造的および高次相関を保持する。
• ガウス混合近似を用い、ポアンカレの分離定理を適用して、分離および部分的消去に起因する対数尤度損失の解析的表現を導出する。
• CelebA、イジング模型、MNIST、PFAMデータセットなど多様なデータセットにRBMsを訓練し、ラベル制御と尤度指標を用いて分離度を評価する。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練を用いずにRBMsで分離表現を学習可能か？また、実世界のデータに対してこのアプローチはどの程度有効か？
• RQ2 分離を強制した際の対数尤度損失はどの程度か？解析的に定量化可能か？
• RQ3 制約付き隠れユニットはどのようにラベル情報を符号化するか？また、制約なしユニットにどの程度ラベル情報が保持されているか？
• RQ4 ラベル情報が除外された場合に、完全制約付きRBMsは意味のあるデータを生成可能か？どのような条件下で可能か？
• RQ5 訓練の安定性、解釈可能性、生成品質の観点から、敵対的アプローチと比較して本手法はどのように異なるか？

主な発見

• 制約ベースの手法は、CelebA、イジング模型、MNIST、PFAMタンパク質ファミリーの4つの多様なデータセットにおいて、RBMsにおける表現の分離に成功した。
• 分離は対数尤度のわずかな相対的損失で達成されており、本手法の高い効率性とロバスト性を示している。
• 部分的制約付きRBMsにより、顔の特徴や数字クラスといった生成データの属性を、少数の専用隠れユニットの操作によって効果的に制御可能である。
• わずかに解放された隠れユニットは、データ空間におけるクラス中心間のベクトル差に一致するように、プロトタイプに類似した形でラベル関連特徴を符号化している。
• 少数のユニットに注目しても、顕著なラベル情報は制約付き隠れユニットに保持されており、高次相関を通じてアクセス可能である。
• クラスが広く分離されているデータセット（例：MNIST0/1、イジング模型）では、完全制約付きRBMsが元のデータとは顕著に異なるサンプルを生成するが、熱容量や画素相関といった高次モーメントを保持しており、残留構造が存在することが示唆された。