[論文レビュー] Conditional Restricted Boltzmann Machines for Structured Output Prediction

Volodymyr Mnih, Hugo Larochelle+1 more|arXiv (Cornell University)|Feb 14, 2012

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 96

ひとこと要約

本稿では、構造的出力予測に特化した条件付き制限ボルツマンマシン（CRBM）のための新しい学習アルゴリズムを提案する。従来の対照的ダイバージェンス（Contrastive Divergence）の限界を克服することを目的としており、出力のばらつきが小さい（例：マルチラベル分類）と大きい（例：画像ノイズ除去）という2つの異なる構造的出力の状態に適した、2つの別個の訓練アプローチを導入している。両問題タイプにおいて、従来手法を上回る優れた性能を示している。

ABSTRACT

Conditional Restricted Boltzmann Machines (CRBMs) are rich probabilistic models that have recently been applied to a wide range of problems, including collaborative filtering, classification, and modeling motion capture data. While much progress has been made in training non-conditional RBMs, these algorithms are not applicable to conditional models and there has been almost no work on training and generating predictions from conditional RBMs for structured output problems. We first argue that standard Contrastive Divergence-based learning may not be suitable for training CRBMs. We then identify two distinct types of structured output prediction problems and propose an improved learning algorithm for each. The first problem type is one where the output space has arbitrary structure but the set of likely output configurations is relatively small, such as in multi-label classification. The second problem is one where the output space is arbitrarily structured but where the output space variability is much greater, such as in image denoising or pixel labeling. We show that the new learning algorithms can work much better than Contrastive Divergence on both types of problems.

研究の動機と目的

• 構造的出力予測における条件付き制限ボルツマンマシン（CRBM）の有効な訓練手法の欠如を解決すること。
• 出力の可能な構成が限られている問題と、出力空間のばらつきが大きい問題という、2つの異なるタイプの構造的出力問題を特定・モデル化すること。
• それぞれの問題タイプに特化した学習アルゴリズムを開発し、従来の対照的ダイバージェンスの限界を改善すること。
• 提案手法が、現実世界の構造的予測タスクにおいて、既存のアプローチを上回る性能を発揮することを実証すること。

提案手法

• 従来の対照的ダイバージェンスが条件付きモデルに導入するバイアスを回避する、CRBMの修正された学習アルゴリズムを提案する。
• 出力の可能な構成が少ない（例：マルチラベル分類）ような構造的出力に特化した、最初の学習手法を導入する。
• 出力のばらつきが大きい（例：ピクセルラベル付けや画像ノイズ除去）ような構造的出力に特化した、第二の学習アルゴリズムを開発する。
• 対照的ダイバージェンスに類似したアプローチを採用しているが、構造的出力における条件付き依存関係をよりよく捉えるように調整を行っている。
• 両問題タイプの出力空間の構造を考慮した、サンプリングに基づく勾配の近似を採用している。
• 提案手法を用いて、効率的な推論と学習手順を伴う構造的予測タスクにおいてCRBMを訓練する。

実験結果

リサーチクエスチョン

• RQ1 標準的な対照的ダイバージェンスは、構造的出力予測のためのCRBM訓練に効果的に適用可能か？
• RQ2 出力の可能な構成が少ない構造的出力に対して、CRBMの訓練をどのように適応すればよいか？
• RQ3 出力のばらつきが大きい構造的出力に対して、効果的なCRBM訓練を可能にする学習戦略は何か？
• RQ4 提案手法は、出力のばらつきが小さい・大きい両方の構造的予測タスクにおいて、対照的ダイバージェンスを上回る性能を発揮するか？

主な発見

• 提案された学習アルゴリズムは、両方の構造的出力予測問題において、標準的な対照的ダイバージェンスを顕著に上回っている。
• 出力の可能な構成が少ないタスク（例：マルチラベル分類）では、条件付き依存関係のより良いモデル化により、予測精度が向上している。
• 出力のばらつきが大きいタスク（例：画像ノイズ除去やピクセルラベル付け）では、改善されたアルゴリズムがより良い一般化性能を示し、収束がより安定している。
• 提案手法は多様な構造的出力タスクにおいて堅牢であることが示され、出力構造に応じた学習アルゴリズムの適合が重要であることが確認された。