[論文レビュー] Learning Discriminative Representation with Signed Laplacian Restricted Boltzmann Machine

Dongdong Chen, Jiancheng Lv+1 more|arXiv (Cornell University)|Aug 28, 2018

Generative Adversarial Networks and Image Synthesis参考文献 13被引用数 4

ひとこと要約

本稿では、符号付きグラフラプラシアン正則化子を用いてクラスラベル情報とグローバルなデータ局所性を統合する、判別的表現学習モデルである符号付きラプラシアン制限ボルツマンマシン（SLRBM）を提案する。隣接行列に正負の重みを許容することで、データポイント間の類似性と相違性を符号化可能となり、標準的なRBMsやGraphRBMよりも分類性能が向上し、微調整なしでMNISTで11.2%の誤差を達成する。

ABSTRACT

We investigate the potential of a restricted Boltzmann Machine (RBM) for discriminative representation learning. By imposing the class information preservation constraints on the hidden layer of the RBM, we propose a Signed Laplacian Restricted Boltzmann Machine (SLRBM) for supervised discriminative representation learning. The model utilizes the label information and preserves the global data locality of data points simultaneously. Experimental results on the benchmark data set show the effectiveness of our method.

研究の動機と目的

• クラスラベル情報をRBMsの学習に組み込むことで、判別的表現学習を向上させること。
• 局所的近傍を越えてグローバルなデータ局所性を保持することで、分類のための表現品質を向上させること。
• 従来の多様体学習やGraphRBMの制限を克服し、符号付き隣接行列による類似性と相違性の両方の符号化を可能にすること。
• 最近傍探索に依存しないようにすることで、実装を簡素化しながらも性能を維持すること。

提案手法

• 同じクラスのペアには+1、異なるクラスのペアには-1をエッジとして持つ符号付きグラフを構築する。
• 符号付きグラフラプラシアンを $ L = D - \Phi $ として定義する。ここで $ D_{ii} = \sum_j \phi_{ij} $ である。
• 交差パrameter $ \lambda $ を用いて、正則化子 $ \mathcal{J}(\mathcal{H}) = \sum_{ij} \phi_{ij} \| h^{(i)} - h^{(j)} \|_2^2 $ をRBMsのエネルギー関数に統合する。
• 勾配項に $ \delta^{(i)} $ を含む修正されたエネルギー関数を用いて、可視ユニットおよび隠れユニットの条件付き確率を導出する。
• パrameter学習にはコントラスト的勾配降下法（CD）を、最適化には標準的な勾配上昇法を用いる。
• パッチアライメントフレームワークを適用することで、SLRBMが局所的近傍ではなくグローバルなデータ構造を用いることで、GraphRBMを一般化していることを示す。

実験結果

リサーチクエスチョン

• RQ1 RBMsの学習にクラスラベル情報を組み込むことで、判別的表現学習が向上するか？
• RQ2 類似性と相違性の両方を符号化する符号付き隣接行列を用いることで、二値または正の重みのみのグラフよりも優れた表現品質が得られるか？
• RQ3 最近傍探索に依存せずにグローバルなデータ局所性を保持できるか？これにより、モデルの頑健性と簡潔さが向上するか？
• RQ4 ベンチマークデータセットにおける分類精度の観点から、SLRBMは標準的なRBMsやClassRBMと比べてどのように差をつけるか？

主な発見

• SLRBMは、微調整なしでMNISTデータセットにおいて11.2%のテスト誤差を達成し、標準的なRBMs（26.8%）やClassRBM（23.8%）を著しく上回る。
• 学習された表現では、元々入力空間で近いとは言えなかった同じクラスのデータポイントが、隠れ空間ではより近づいて投影されていることが示された。
• 符号付きグラフラプラシアンの使用により、同じクラス（類似性）と異なるクラス（相違性）の両方の情報を符号化可能となり、判別力が向上した。
• SLRBMは最近傍探索を必要としないため、従来の多様体学習手法よりも実装が容易でスケーラブルである。
• MNIST上の可視化では、同じ数字（例：'0' や '1'）の表現が非常に類似しており、異なる数字の表現は明確に分離されていることが確認された。