[論文レビュー] Optimally fuzzy scale-free memory

Karthik H. Shankar, Marc W. Howard|arXiv (Cornell University)|Nov 22, 2012

Complex Systems and Time Series Analysis参考文献 25被引用数 11

ひとこと要約

本稿では、情報の正確さと指数的長時間スケールの表現能力の最適なトレードオフを実現するスケールフリーなファジィバッファ記憶システムを提案する。神経認知的内部時間モデルにインspiredされ、複数スケールで相関する長時間スケール構造を持つ時系列の予測において、従来のシフトレジスタを凌駆する。

ABSTRACT

Any system with the ability to learn from a time series and predict the future must have a memory representing the information from the recent past. In cases where the external environment generating the time series has a fixed scale, the memory can be a simple shift register—a moving window of finite width extending into the past. The width of the window should be large enough to describe the largest scale relevant for predicting the signal. However, such a traditional buffer is inappropriate if the longest relevant scale is not known a priori, or if the signal has structure at many different time scales. It is well known that signals with scale-free long range correlations are found in many physical environments. Hence we argue in favor of a memory that is a scale-free fuzzy buffer which implicitly accounts for scale-free fluctuations in naturally generated signals. Based on a neuro-cognitive model of internal time, we construct a fuzzy buffer that optimally sacrifices the accuracy of information representation in order to represent exponentially long time scales without an explosion in capacity demands. Using several illustrative time series we demonstrate the advantage of the fuzzy buffer over the shift register in time series forecasting. We suggest that this method for representing time-varying signals may be of broad utility in a variety of applications.

研究の動機と目的

• 未知または複数の時間スケールを有する時系列を処理する際、固定ウィンドウのシフトレジスタの限界を克服すること。
• 容量の爆発を回避する記憶システムを用いて、スケールフリーで長距離相関を持つ自然な信号をモデル化すること。
• 精度を犠牲にして長期間の時間的表現を可能にする神経認知的インスピレーションを受ける記憶アーキテクチャを開発すること。
• 複雑な時間的構造を有する予測タスクにおいて、従来のバッファと比較してファジィバッファが優れていることを実証すること。

提案手法

• 神経認知的内部時間モデルを用いて、多スケール時間的情報を暗黙的に符号化するファジィバッファを構造化する。
• スケールフリーな減衰関数を用いて過去の情報を重み付けし、有限のメモリ容量で指数的長時間スケールを表現可能にする。
• 時間スケールに応じて表現の正確性を動的に調整し、短期的精度よりも長期的トレンドを優先する。
• 再帰的フィルタとして実装され、指数的減衰重みを用いて生物学的記憶ダイナミクスを模倣する。
• 固定幅のシフトレジスタの代わりに、連続的かつスケール不変な記憶カーネルを導入し、長距離相関を捉える。
• 合成および実際の時系列データを用いてモデルを訓練および評価し、予測性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 長期間にわたる関連時間スケールが事前に不明な場合、時間スケールの多様性を持つ時系列の多スケール時間的相関を、どのようして表現できるか？
• RQ2 長距離時間的依存性を表現する際、情報の正確さとメモリ容量の最適なトレードオフは何か？
• RQ3 神経認知的インスピレーションを受けるファジィバッファは、スケールフリーな信号を有する予測タスクにおいて、従来のシフトレジスタを上回る性能を示せるか？
• RQ4 スケールフリーな減衰メカニズムは、指数的長時間スケールの効率的表現をどのように可能にするか？
• RQ5 複雑で長距離相関を持つ時系列の予測において、ファジィバッファはシフトレジスタに比べてどの程度の性能向上を達成できるか？

主な発見

• ファジィバッファは、長距離相関と多スケール構造を持つ時系列の予測において、従来のシフトレジスタを顕著に上回る性能を示す。
• 表現の正確さを犠牲にすることで、有限のメモリ容量で指数的長時間スケールを効果的に表現可能である。
• スケールフリーな減衰メカニズムにより、明示的なスケール検出を必要とせず、多様な時間スケールで安定した性能を発揮する。
• バッファの神経認知的基盤により、動的環境下でも生物学的妥当性と安定性を兼ね備える。
• 代表的な時系列データに対する実験的結果から、特に非ステーションリティおよびスケールフリーな文脈において一貫した予測性能の向上が確認された。
• 本手法は、複雑な時間的相関を持つさまざまな信号タイプに広く適用可能であることが示された。