[論文レビュー] Texture Modeling with Convolutional Spike-and-Slab RBMs and Deep Extensions

Heng Luo, Pierre Carrier+2 more|arXiv (Cornell University)|Nov 24, 2012

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 14

ひとこと要約

本論文は、畳み込み型スパイクアンドスラブRBM（TssRBM）と、スパイクアンドスラブ可視層およびバイナリ隠れユニットを備えた新しいRBMバージョンを用いた、非教師付きテクスチャ合成のための深層生成モデルを提案する。これらのモデルを深層信念ネットワーク（DBN）にスタックし、下位層を対照的分散（CD）で訓練することで、非定常的かつマルチテクスチャシーンにおいて、単層モデルや非教師付きマルチテクスチャ学習ベースラインを上回る、最先端の性能を達成した。

ABSTRACT

We apply the spike-and-slab Restricted Boltzmann Machine (ssRBM) to texture modeling. The ssRBM with tiled-convolution weight sharing (TssRBM) achieves or surpasses the state-of-the-art on texture synthesis and inpainting by parametric models. We also develop a novel RBM model with a spike-and-slab visible layer and binary variables in the hidden layer. This model is designed to be stacked on top of the TssRBM. We show the resulting deep belief network (DBN) is a powerful generative model that improves on single-layer models and is capable of modeling not only single high-resolution and challenging textures but also multiple textures.

研究の動機と目的

• 高分解能で非定常的かつ複雑な空間周波数を有する自然テクスチャを合成できる深層生成モデルの開発。
• タイル型畳み込み重み共有を用いたスパイクアンドスラブRBMの統合により、局所的不変性と効率的な受容野タイリングを実現し、テクスチャモデリングを向上。
• 分類ラベルのない非教師付き学習により、異種の複数テクスチャをラベルなしで学習可能とし、従来のモデルがクラスラベルを必要としていた制限を克服。
• トレーニング戦略（CD対比PCD/FPCD）がギブスサンプリングにおける深層モデルの性能と混合行動に与える影響を調査。
• 深さが長距離依存性モデリングを向上させつつ、テクスチャ生成における微細な局所構造を保持することを実証。

提案手法

• TssRBMは、重複のない受容野を有するタイル型畳み込み重み共有を用い、変動サイズのテクスチャ合成と効率的な局所特徴モデリングを可能にする。
• スパイクアンドスラブ可視層とバイナリ隠れユニットを備えた新しいRBMを導入し、深層信念ネットワーク（DBN）においてTssRBMの上位にスタック可能であるように設計された。
• DBNはグリーディ層別事前学習により訓練される：下位層（TssRBM）はCD-1で、最上位層は最大尤度に近い近似（例：FPCD）が用いられる。
• このアーキテクチャは、ssRBMがCDトレーニングと互換性を持つことを利用し、下位層での有効な特徴学習と上位層での良好なサンプリングを実現する。
• 深さにより有効な受容野が拡大され、上位層が空間的に分離された領域間の長距離依存性や位相整合性をモデリング可能になる。
• Brodatzテクスチャを用いた定量的評価と定性的な合成により、トレーニング戦略と深さに関するアブレーションが実施された。

実験結果

リサーチクエスチョン

• RQ1 タイル型畳み込み重み共有を有するTssRBMは、自然テクスチャデータセットにおいて、テクスチャ合成およびインpaintingタスクで最先端の性能を達成できるか？
• RQ2 深層信念ネットワークにおける下位層のCD事前学習は、PCD や FPCD 事前学習に比べて、より優れたテクスチャモデルを生成するか？
• RQ3 ssRBMの変種をスタックした深層アーキテクチャは、ラベルなしで複数の異種テクスチャを非教師付きでモデリングできるか？
• RQ4 深さがギブスサンプリングチェーンにおける混合行動と全体的なモデル性能に与える影響はいかほどか？
• RQ5 提案モデルは、非定常的テクスチャにおいて、局所的テクスチャディテールとグローバルな構造的一致性の両方をどの程度捉えられるか？

主な発見

• TssRBMは、Brodatzテクスチャの複数のデータセットにおいて、テクスチャ合成およびインpaintingタスクで最先端の性能を達成または上回った。特に、広い空間周波数を有する非定常的テクスチャにおいて顕著な優位性を示した。
• 下位層のCD事前学習は、PCD や FPCD 事前学習よりも顕著に優れたテクスチャモデルを生成した。これは、CDが初期層で入力情報をより良く保持し、KLダイバージェンスを最小化するという主張と整合的であった。
• TssRBMと新しいRBMのスタック構造を持つ深層信念ネットワークは、ギブスチェーンにおける混合レートを向上させた。深層モデルでは自己相関スペクトルの低下が著しく速くなった。
• 3層のDBNは、生成サンプルにおいて8つの異種テクスチャのうち7つを効果的に捉えた。これは、ラベルなしで効果的な非教師付きマルチテクスチャモデリングが可能であることを示している。
• 単層のTssRBMは高周波数構造しか捉えられず、グローバルなテクスチャパターンや複数のテクスチャをモデリングできないのに対し、深層モデルはこれを上回った。
• ssRBMを深層アーキテクチャに統合することで、下位層での局所的特徴学習と上位層での長距離依存性の捉え方のバランスを取ることで、複雑で現実的なテクスチャのモデリングが可能になった。