[論文レビュー] Recurrent Exponential-Family Harmoniums without Backprop-Through-Time

Joseph G. Makin, Ben Dichter+1 more|arXiv (Cornell University)|May 19, 2016

Music Technology and Sound Studies参考文献 11被引用数 6

ひとこと要約

本稿では、時間的データにおける最適な推論を、時間方向の誤差逆伝播（BPTT）を必要とせずに実現するための、再帰的指数型ハーモニウム（rEFH）を提案する。情報保持とモデル同定可能性に基づく新しい学習手順を用いる。この手法は、線形動的システムとポアソンスパイク観測を持つ合成時系列データにおいて、最先端のフィルタリング性能を達成し、TRBMを上回り、RTRBMと同等の性能を発揮するが、学習アルゴリズムはより単純である。

ABSTRACT

Exponential-family harmoniums (EFHs), which extend restricted Boltzmann machines (RBMs) from Bernoulli random variables to other exponential families (Welling et al., 2005), are generative models that can be trained with unsupervised-learning techniques, like contrastive divergence (Hinton et al. 2006; Hinton, 2002), as density estimators for static data. Methods for extending RBMs--and likewise EFHs--to data with temporal dependencies have been proposed previously (Sutskever and Hinton, 2007; Sutskever et al., 2009), the learning procedure being validated by qualitative assessment of the generative model. Here we propose and justify, from a very different perspective, an alternative training procedure, proving sufficient conditions for optimal inference under that procedure. The resulting algorithm can be learned with only forward passes through the data--backprop-through-time is not required, as in previous approaches. The proof exploits a recent result about information retention in density estimators (Makin and Sabes, 2015), and applies it to a "recurrent EFH" (rEFH) by induction. Finally, we demonstrate optimality by simulation, testing the rEFH: (1) as a filter on training data generated with a linear dynamical system, the position of which is noisily reported by a population of "neurons" with Poisson-distributed spike counts; and (2) with the qualitative experiments proposed by Sutskever et al. (2009).

研究の動機と目的

• 時間的データにおける最適な推論を、時間方向の誤差逆伝播（BPTT）を要しない再帰的指数型ハーモニウム（rEFH）のための学習手順を開発すること。
• 密度推定器における情報保持とモデル同定可能性を活用することで、rEFHにおける最適な推論の十分条件を確立すること。
• 既知のパrametricな動的モデルを仮定せずに、真の隠れ状態のためのコンactな統計量（カルマンフィルタのモーメントに相当）をrEFHが学習できることを示すこと。
• 真の事後分布が解析的に計算可能な合成データ上で、rEFHをTRBMおよびRTRBMと実験的に比較し、フィルタリングと生成性能を評価すること。
• 逆方向生成（モデルからのサンプリング）がrEFHでは容易であり、TRBMおよびRTRBMとは異なり複雑な反復的サンプリング手順を必要としないこと。

提案手法

• rEFHは、隠れユニットの平均を前時刻の状態として入力表現に組み込むことで、指数型ハーモニウム（EFH）を再帰的接続を用いて拡張する。
• 理論的結果（Makin & Sabes, 2015）に基づき、密度推定器における情報保持を活用することで、時間方向の誤差逆伝播（BPTT）を回避する前方パスのみに依存する学習手順を採用する。
• モデル同定可能性を仮定することで、学習済みrEFHにおける隠れユニット平均が真の隠れ状態の十分統計量を符号化し、最適なフィルタリングを可能にする。
• 各入力ベクトルが現在の観測値と前回の隠れユニット平均を含む系列データに対して、対照的勾配法や類似する教師なし学習手法を用いてモデルを学習する。
• 推論は、現在の観測値と前回の状態から隠れユニット平均を計算し、再構成された感覚ユニットの重心演算によって状態推定値を復元することで実行する。
• 生成は、重み行列と非線形性を用いて隠れ状態から可視状態へと逆方向に伝搬することで実現する。これにより、効率的な軌道サンプリングが可能となる。

実験結果

リサーチクエスチョン

• RQ1 再帰的EFHは、時間方向の誤差逆伝播（BPTT）を必要とせず、時系列データにおいていつ最適な推論を提供できるか？
• RQ2 動的モデルが未知または非線形であっても、rEFHは真の隠れ状態のための十分統計量（カルマンフィルタのモーメントに相当）を学習できるか？
• RQ3 rEFHと類似した構造を持つTRBMやRTRBMでは、同様の学習手順が最適性を達成できないのはなぜか？
• RQ4 真の事後分布が解析的に計算可能な合成データにおいて、rEFHはTRBMおよびRTRBMと比べてフィルタリングタスクでどのように性能を発揮するか？
• RQ5 rEFHでは逆方向生成（モデルからのサンプリング）が可能で効率的であるか？TRBMおよびRTRBMと比較してどうか？

主な発見

• rEFHは、ポアソンスパイク観測を持つ線形動的システムから生成された合成時系列データにおいて、真のカルマンフィルタと同等の最適なフィルタリング性能を達成した。
• rEFHはBPTTを回避するより単純な学習アルゴリズムを用いながらも、TRBMを上回り、RTRBMと同等の性能を発揮した。
• rEFHでは効率的な逆方向生成によるサンプル軌道の生成が可能であるのに対し、TRBMおよびRTRBMは複雑な反復的サンプリング手順を必要としている。
• 学習済みrEFHにおける隠れユニット平均が真の隠れ状態の十分統計量を符号化しており、過去の観測値のコンactな最適要約を学習していることが確認された。
• 理論的裏付けはモデル同定可能性と情報保持に基づくものであり、rEFHが既知のパラメトリックな動的モデルを仮定せずとも最適フィルタを学習できることを示している。
• 40,000ベクトル（1,000ステップの40個の軌道）を用いた実験的評価により、rEFHが一貫した復元スキームを全モデルに適用した結果、下限推定値を提供することが確認され、比較が有効であることが裏付けられた。