[論文レビュー] Fast IDS Computing System Method and its Memristor Crossbar-based Hardware Implementation

Sajad Haghzad Klidbary, Saeed Bagheri Shouraki+1 more|arXiv (Cornell University)|Feb 22, 2016

Advanced Memory and Neural Computing参考文献 23被引用数 5

ひとこと要約

本稿では、計算コストが非常に高いインクドロップスプレッド（IDS）演算子を数学的にモデル化された関数に置き換えることで、メモリ使用量と計算コストを大幅に削減する、新規の高速IDS計算システム手法を提案する。この手法により、メモリストレージの効率的実装が可能となり、必要なメモリスタ数をO(n²)からO(3n)に削減し、リアルタイム応用に適した高速・低消費電力動作を実現する。クラスタリングおよび関数近似の分野におけるリアルタイム応用に適している。

ABSTRACT

Active Learning Method (ALM) is one of the powerful tools in soft computing that is inspired by human brain capabilities in processing complicated information. ALM, which is in essence an adaptive fuzzy learning method, models a Multi-Input Single-Output (MISO) system with several Single-Input Single-Output (SISO) subsystems. Ink Drop Spread (IDS) operator, which is the main processing engine of this method, extracts useful features from the data without complicated computations and provides stability and convergence as well. Despite great performance of ALM in applications such as classification, clustering, and modelling, an efficient hardware implementation has remained a challenging problem. Large amount of memory required to store the information of IDS planes as well as the high computational cost of the IDS computing system are two main barriers to ALM becoming more popular. In this paper, a novel learning method is proposed based on the idea of IDS, but with a novel approach that eliminates the computational cost of IDS operator. Unlike traditional approaches, our proposed method finds functions to describe the IDS plane that eliminates the need for large amount of memory to a great extent. Narrow Path and Spread, which are two main features used in the inference engine of ALM, are then extracted from IDS planes with minimum amount of memory usage and power consumption. Our proposed algorithm is fully compatible with memristor-crossbar implementation that leads to a significant decrease in the number of required memristors (from O(n^2) to O(3n)). Simpler algorithm and higher speed make our algorithm suitable for applications where real-time process, low-cost and small implementation are paramount. Applications in clustering and function approximation are provided, which reveals the effective performance of our proposed algorithm.

研究の動機と目的

• インクドロップスプレッド（IDS）演算子を用いる従来のアクティブラーニング法（ALM）の高いメモリ使用量と計算コストを低減する。
• 大容量メモリ要件と処理遅延のため、ALMのハードウェア実装が困難であるという障壁を克服する。
• 完全なIDS平面の保存を不要にする、数学的にモデル化されたIDS平面表現を開発する。
• 低消費電力・高速なリアルタイムコンピューティングを実現するため、メモリスタクロスバー上での効率的実装を可能にする。
• システムの性能を維持しつつ、メモリスタ数をO(n²)からO(3n)に顕著に削減する。

提案手法

• 従来のIDS平面計算を、IDSの挙動をモデル化する閉形式の数学的関数に置き換える。
• 推論に重要な「狭いパス」と「広がり」の特徴を新しいモデルで活用し、システムの安定性と収束性を維持する。
• 解析関数を用いてIDS平面のパラメトリック表現を導出することで、大規模なメモリストレージを回避する。
• ハードウェア効率性を高めるために、メモリスタクロスバーアーキテクチャと完全に互換性を持つアルゴリズムを設計する。
• 冗長な計算を削減することで、最小限の消費電力と高速処理を実現する。
• メモリスタクロスバーを用いてシステムを実装し、速度とエネルギー効率を高める内在的なメモリ内計算特性を活用する。

実験結果

リサーチクエスチョン

• RQ1 大規模なIDS平面の保存を不要にするために、IDS演算子を数学的にモデル化された関数に置き換えることは可能か？
• RQ2 正確性や安定性を損なわず、IDS計算システムの計算コストとメモリ容量をどのように低減できるか？
• RQ3 メモリスタクロスバーアーキテクチャをどの程度効果的に活用して、提案されたIDS手法を効率的に実装できるか？
• RQ4 従来手法と比較して、新しい手法が実現可能なメモリスタ数の理論的・実用的削減はどの程度か？
• RQ5 クラスタリングおよび関数近似のようなリアルタイム応用において、提案手法はどの程度の性能を示すか？

主な発見

• 提案手法により、必要なメモリスタ数をO(n²)からO(3n)に大幅に削減し、顕著なハードウェア効率向上を達成した。
• IDS平面の数学的モデリングにより、完全なIDS平面の保存が不要となり、メモリ使用量が著しく削減された。
• 計算の簡略化とメモリスタクロスバーへの直接的なハードウェアマッピングにより、高速な動作が実現した。
• 元のALMにおけるIDS演算子を用いたシステムの安定性と収束性を、本手法でも維持した。
• クラスタリングおよび関数近似への応用において、低消費電力・低コストで効果的な性能を示した。
• アルゴリズムはメモリスタクロスバー実装と完全に互換性があり、スケーラブルかつエネルギー効率の高い展開が可能である。