[論文レビュー] Circumventing the Curse of Dimensionality in Prediction: Causal Rate-Distortion for Infinite-Order Markov Processes

Sarah Marzen, James P. Crutchfield|arXiv (Cornell University)|Dec 9, 2014

Neural dynamics and brain function参考文献 67被引用数 5

ひとこと要約

この論文は、予測的レート・ディストーション解析における次元の呪いを克服するため、前向き時および逆向き時の因果的状態を用いて予測的レート・ディストーションを再定式化することで、無限次元マルコフ過程の予測において、長期間の過去の系列をクラスタリングしない資源効率の良い正確な予測を可能にする因果的レート・ディストーション理論を導入している。従来の方法ですら、有限記憶の隠れマルコフモデルに対しても顕著な改善が得られている。

ABSTRACT

Predictive rate-distortion analysis suffers from the curse of dimensionality: clustering arbitrarily long pasts to retain information about arbitrarily long futures requires resources that typically grow exponentially with length. The challenge is compounded for infinite-order Markov processes, since conditioning on finite sequences cannot capture all of their past dependencies. Spectral arguments show that algorithms which cluster finite-length sequences fail dramatically when the underlying process has long-range temporal correlations and can fail even for processes generated by finite-memory hidden Markov models. We circumvent the curse of dimensionality in rate-distortion analysis of infinite-order processes by casting predictive rate-distortion objective functions in terms of the forward- and reverse-time causal states of computational mechanics. Examples demonstrate that the resulting causal rate-distortion theory substantially improves current predictive rate-distortion analyses.

研究の動機と目的

• 長期間の過去の系列をクラスタリングすることで指数的リソース増加を引き起こす予測的レート・ディストーション解析における次元の呪いに対処すること。
• 完全な過去履歴の保存を必要としない、無限次元マルコフ過程の正確な予測を可能にするフレームワークの構築。
• 長距離の時間的相関を持つ過程や有限記憶の隠れマルコフモデルに対して失敗する既存のレート・ディストーション手法の改善。
• 因果的状態を十分統計量として用いることで、損失あり予測特徴の原理的計算手法の確立。
• 最大限に予測的なモデルを最初に特定することが、顕著に優れたレート・ディストーション性能をもたらすかどうかの検証。

提案手法

• 予測的レート・ディストーションの目的関数を、予測に最小限の十分統計量である前向き時因果的状態 $\mathcal{S}^+$ および逆向き時因果的状態 $\mathcal{S}^-$ を用いて再定式化する。
• ラグランジュ乗数 $\mathcal{L}_\beta$ の変分最適化により、最適なコードブック $p(r|\sigma^+)$ の正式な解を導出する。この際に相互情報量項と歪み項を組み込む。
• 方程式 $p(r|\sigma^+) = \frac{p(r)}{Z(\sigma^+)} e^{-\beta D_{KL}[p(\sigma^-|\sigma^+)||p(\sigma^-|r)]}$ を固定点写像として用い、最適コードブックへの反復的収束を実現する。
• 長期間の過去の系列の明示的クラスタリングを回避するために、因果的状態構造を活用して無限次元マルコフ過程に適用する。
• 導出された方程式に基づく数値アルゴリズムを用いて損失あり因果的状態を計算し、予測性能を評価する。
• 標準的なレート・ディストーション手法と比較することで、本手法の有効性を検証し、精度の向上とリソース要件の低減を示す。

実験結果

リサーチクエスチョン

• RQ1 長期間の過去の系列のクラスタリングなしに、無限次元マルコフ過程に対する予測的レート・ディストーション解析が、指数的リソーススケーリングを回避して実現可能かどうか。
• RQ2 有限長の過去をクラスタリングするのと比較して、因果的状態を十分統計量として用いることで、レート・ディストーション性能がどのように向上するか。
• RQ3 長距離の時間的相関を持つ過程や有限記憶の隠れマルコフモデルに対して、現在のレート・ディストーションアルゴリズムがどの程度失敗するか。
• RQ4 因果的状態とレート・ディストーション枠組みにおける最適な損失あり予測特徴との関係は何か。
• RQ5 近似誤差の関数として、因果的レート・ディストーションフレームワークから自然に予測特徴の階層的構造が出現するかどうか。

主な発見

• 因果的レート・ディストーションフレームワークは、任意に長い過去の系列のクラスタリングを回避することで、次元の呪いを効果的に回避した。
• 標準的手法が失敗する有限記憶の隠れマルコフモデルですら、顕著な改善が得られた予測的レート・ディストーション性能を達成した。
• 正式な解 $p(r|\sigma^+) = \frac{p(r)}{Z(\sigma^+)} e^{-\beta D_{KL}[p(\sigma^-|\sigma^+)||p(\sigma^-|r)]}$ は、最適コードブックを計算する安定した反復的アルゴリズムを提供する。
• 近似誤差が増加するにつれて、自然に予測特徴の階層的構造が出現し、他の系で観察される相転移と類似した挙動を示した。
• 本手法は、長期間の過去の系列に依存する指数的リソース増加を回避し、因果的状態構造のみを用いて正確な予測を可能にした。
• 数値結果から、最大限に予測的なモデルを最初に特定することが、従来のクラスタリングベースの手法よりも顕著に優れたレート・ディストーション関数をもたらすことが示された。