[論文レビュー] Encoding Data for HTM Systems

Scott Purdy|arXiv (Cornell University)|Feb 18, 2016

Ferroelectric and Negative Capacitance Devices参考文献 2被引用数 45

ひとこと要約

本論文は、階層的時系列記憶（HTM）システムに適したスパース分散表現（SDR）に多様なデータ型を符号化する包括的なフレームワークを提示する。NuPICフレームワークに含まれる既存のエンコーダーを詳細に説明し、新しいエンコーダーの設計原則を提示するとともに、時間的・空間的関係を保持するように、生データをSDRに変換する標準化されたアプローチを確立する。

ABSTRACT

Hierarchical Temporal Memory (HTM) is a biologically inspired machine intelligence technology that mimics the architecture and processes of the neocortex. In this white paper we describe how to encode data as Sparse Distributed Representations (SDRs) for use in HTM systems. We explain several existing encoders, which are available through the open source project called NuPIC, and we discuss requirements for creating encoders for new types of data.

研究の動機と目的

• 生来の多様なデータを、HTMシステムに適したスパース分散表現（SDR）に変換する体系的な手法を提供すること。
• HTMにおけるデータ表現の課題に応じて、時間的・空間的構造を保持する有効な符号化の要件を定義すること。
• 生物学的妥当性と計算効率に基づく明確なガイドラインと原則を用いて、新しいデータ型向けのエンコーダー設計を標準化すること。
• オープンソースのNuPICエコシステム内での堅牢で再利用可能なエンコーダーの開発を支援し、多様な実世界の応用に適応すること。
• 入力データが新皮質計算の原則と互換性を持つ形式に符号化されることで、HTMシステムが順序学習、異常検出、予測を実行できるようにすること。

提案手法

• スパース分散表現（SDR）パラダイムを採用し、データを高次元のバイナリーベクトルとして符号化する。この際、活性化パターンは疎である。
• NuPICオープンソースフレームワークに用意された、スカラーエンコーダー、カテゴリカルエンコーダー、日付エンコーダー、ベクトルエンコーダーなど、さまざまな専用エンコーダーを活用する。
• 時間的・空間的不変性の原則を適用し、順序的および多次元データにおける意味的な関係を保持する。
• 正規化と量子化技術を実装し、連続値を離散的SDRにマッピングすることで、解像度と識別能を維持する。
• 重複する、ランダムな、構造的なSDRパターンを用いることで、ノイズや部分的入力損失に対しても耐性を確保する。
• 生物学的妥当性に基づいてエンコーダーを設計し、新皮質柱が分散的・疎なコードで感覚入力を表現する能力を模倣する。

実験結果

リサーチクエスチョン

• RQ1 連続値、カテゴリカル、時系列データなど、多様なデータ型を、HTMシステムに適したSDRに効果的に変換する方法は何か？
• RQ2 SDRがHTM学習と推論に必要な構造的・関係的情報を保持するための設計原則は何か？
• RQ3 生物学的に妥当で計算的に効率的な両立する、新しい再利用可能なエンコーダーを構築するための主要な要件は何か？
• RQ4 異なるエンコーダー種別が、異常検出や順序予測などのHTMシステムの性能にどのように影響を与えるか？
• RQ5 SDRにおけるスパarsity（疎らかさ）とオーバーラップ（重複）が、HTMアーキテクチャにおける頑健で汎用性の高い表現を可能にする役割は何か？

主な発見

• 本論文は、HTMシステムが時間的パターン認識や順序学習を実行できるようにするため、SDRへの効果的なデータ符号化が不可欠であると確立している。
• NuPICフレームワークに含まれる既存のエンコーダー（例：スカラーエンコーダー、カテゴリカルエンコーダー）は、さまざまなデータ型と応用分野で信頼性の高い性能を示している。
• 適切な符号化により、データポイント間の相対的関係が保持され、HTMシステムが高い精度で異常を検出および将来の状態を予測できるようになる。
• スパースで分散的かつ重複する表現の使用は、ノイズや部分的入力損失に対する耐性を高め、密なまたは非疎な符号化方式に比べて顕著な利点をもたらす。
• 本フレームワークにより、異なるデータモality（モダリティ）間で一貫性があり再現可能な符号化が可能となり、モジュール型で拡張可能なHTMシステム開発を支援する。
• 本論文は、符号化に生物学的原則を適用することで、実世界のHTM展開においてより解釈可能で汎用性の高い表現が得られることを示している。