[論文レビュー] On the Challenges of Physical Implementations of RBMs

Vincent Dumoulin, Ian Goodfellow+2 more|arXiv (Cornell University)|Dec 18, 2013

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 25

ひとこと要約

この論文は、パrameterノイズ、限られたパrameter範囲、制限された接続性という3つの主要なハードウェア制約を評価するためのソフトウェアシミュレーションを用いて、制限付きボルツマンマシン（RBMs）の物理的実装の実現可能性を調査している。その結果、特にD-Wave Twoのキメラ構造を有する疎で構造的な接続性を示すトポロジー制限が、パフォーマンスに最も深刻な障害をもたらすことが判明した。一方、ノイズやパrameter範囲の制限は、適切なトレーニング戦略を用いることでより管理可能である。

ABSTRACT

Restricted Boltzmann machines (RBMs) are powerful machine learning models, but learning and some kinds of inference in the model require sampling-based approximations, which, in classical digital computers, are implemented using expensive MCMC. Physical computation offers the opportunity to reduce the cost of sampling by building physical systems whose natural dynamics correspond to drawing samples from the desired RBM distribution. Such a system avoids the burn-in and mixing cost of a Markov chain. However, hardware implementations of this variety usually entail limitations such as low-precision and limited range of the parameters and restrictions on the size and topology of the RBM. We conduct software simulations to determine how harmful each of these restrictions is. Our simulations are designed to reproduce aspects of the D-Wave quantum computer, but the issues we investigate arise in most forms of physical computation.

研究の動機と目的

• 物理的RBMs実装におけるハードウェアレベルの制約—パrameterノイズ、限られたパrameter範囲、制限されたトポロジー—の影響を評価すること。
• 物理コンピューティングシステムにおけるRBMsのパフォーマンスとトレーニングの可能性を著しく低下させる要因として、どの制約が最も深刻であるかを特定すること。
• 物理的RBMs計算におけるハードウェア制限の悪影響を緩和できるトレーニング戦略があるかどうかを評価すること。
• 実用的な物理的RBMs展開のための最も重要な障壁を特定することで、将来のハードウェアおよびアルゴリズム設計を支援すること。

提案手法

• 物理的RBMs環境をGPU上でシミュレートし、物理的サンプリングの利点を享受しない状態で個々のハードウェア制約を隔離して研究した。
• 正のフェーズと負のフェーズの両方で一貫したサンプラーを用いたMCMCベースのトレーニングを実施し、ノイズ下でのロバストネスを評価した。
• 重みとバイアスに制御されたノイズを加え、クリッピングを適用して物理システムにおける限られたパrameter範囲を模擬した。
• 重み行列にランダムまたは構造的なスパarsityを強制し、接続性の制限を模擬した。これにはD-Wave Twoのキメラトポロジーも含まれた。
• 標準的なコントラストダイバージェンスを用いてMNISTデータ上でRBMsをトレーニングし、テストの負の対数尤度（NLL）を用いてパフォーマンスを評価した。
• 完全接続、ランダムにプルーニングされた、および構造的（キメラ）な接続性パターンの3つを比較し、トポロジーの影響を明確にした。

実験結果

リサーチクエスチョン

• RQ1 物理的RBMsにおけるパrameterノイズは、モデルのパフォーマンスとトレーニングの安定性にどのように影響するか？
• RQ2 重みとバイアスの動的範囲を制限すると、RBMsのパフォーマンスはどの程度劣化するか？
• RQ3 特にD-Waveのキメラのような疎で構造的なトポロジーは、RBMsの表現能力にどの程度深刻なダメージを与えるか？
• RQ4 物理的RBMs実装におけるハードウェア制限の影響を緩和できるように、トレーニング手順をどのように適合させられるか？
• RQ5 どのハードウェア制約が、実用的な物理的RBMs展開において最も深刻な障壁をもたらすか？

主な発見

• パrameterノイズはRBMsのパフォーマンスを著しく低下させるが、推論時に使用するのと同じサンプラーを負のフェーズで使用することで、この影響を緩和できる。
• 重みとバイアスの範囲を制限しても、上界が1.0以上であればパフォーマンスへの影響は最小限である。上界が1.0未満になると、パフォーマンスは急激に劣化する。
• トポロジー制限が最も深刻な制約である：99％の接続をゼロにすると、テストNLLは200.3 ± 0.2に上昇し、生成されたサンプルはすべての数字らしさを失う。
• ランダムに50％の接続を削除しても、テストNLLはわずかに4.3％上昇するため、RBMsはランダムなスパarsityに対してある程度ロバストであることが示された。
• D-Wave Twoのキメラトポロジーのような構造的スパarsityは、ランダムなスパarsityよりも顕著に優れている。ピクセルブロックマッピングを用いることで、テストNLLは138.2に達したが、完全接続RBMsには遠く及ばない。
• ノイズとパrameterクリッピングの組み合わせは、重みのスケーリングがノイズを増幅するのを防ぐため、一般化を促進する可能性がある。