[論文レビュー] The importance of space and time in neuromorphic cognitive agents

Giacomo Indiveri, Yulia Sandamirskaya|arXiv (Cornell University)|Feb 26, 2019

Advanced Memory and Neural Computing参考文献 27被引用数 12

ひとこと要約

この論文は、リアルタイムで連続時間のダイナミクスと混合信号アナログ/デジタル回路による空間的に分散したメモリ内計算を活用することで、エネルギー効率が高く適応的な行動を実現する神経形状認知エージェントを提案する。生物学的神経処理を模倣することで、従来のAIシステムと比較してはるかに少ない消費電力で、体化エージェントが自律的に学習し、環境と相互作用することが可能になる。

ABSTRACT

Artificial neural networks and computational neuroscience models have made tremendous progress, allowing computers to achieve impressive results in artificial intelligence (AI) applications, such as image recognition, natural language processing, or autonomous driving. Despite this remarkable progress, biological neural systems consume orders of magnitude less energy than today's artificial neural networks and are much more agile and adaptive. This efficiency and adaptivity gap is partially explained by the computing substrate of biological neural processing systems that is fundamentally different from the way today's computers are built. Biological systems use in-memory computing elements operating in a massively parallel way rather than time-multiplexed computing units that are reused in a sequential fashion. Moreover, activity of biological neurons follows continuous-time dynamics in real, physical time, instead of operating on discrete temporal cycles abstracted away from real-time. Here, we present neuromorphic processing devices that emulate the biological style of processing by using parallel instances of mixed-signal analog/digital circuits that operate in real time. We argue that this approach brings significant advantages in efficiency of computation. We show examples of embodied neuromorphic agents that use such devices to interact with the environment and exhibit autonomous learning.

研究の動機と目的

• 人工ニューラルネットワークと生物学的脳の間のエネルギーと適応性のギャップを解消するため、計算基盤を再考すること。
• リアルタイムで動作する並列的でメモリ内に配置されたアナログ/デジタル回路を用いて、生物学的神経系を模倣する神経形状ハードウェアを開発すること。
• 連続時間ダイナミクスと空間的に分散した計算を用いて、体化エージェントが自律学習と環境との相互作用を実現すること。
• 従来の離散的・逐次的計算と比較して、リアルタイムで物理的時間に即した処理が認知エージェントの効率性と機敏性を向上させることを示すこと。
• 空間と時間の役割を強調することで、人工知能と生物学的神経系のギャップを埋めること。

提案手法

• リアルタイムで並列的かつメモリ内での計算が可能な、混合信号アナログ/デジタル回路を用いた神経形状ハードウェアの設計と実装。
• 物理的時間からの抽象化を回避するため、神経活動をモデル化するために連続時間ダイナミクスを採用すること。
• 動的環境と相互作用する体化エージェントに神経形状プロセッサを統合すること。
• リアル物理時間で動作するイベント駆動型のスパikingニューラルネットワークモデルの使用。
• 神経形状ハードウェアと互換性のある学習則の適用により、リアルタイムでの自律学習を可能にすること。
• センサ入力、神経形状処理、モータ出力を閉ループでリアルタイム制御システムに統合したシステムレベルのアーキテクチャ。

実験結果

リサーチクエスチョン

• RQ1 リアル物理時間で動作する神経形状ハードウェアは、認知エージェントの効率性と適応性をどのように向上させるか？
• RQ2 アナログ/デジタル回路におけるメモリ内並列計算は、従来のデジタルアーキテクチャと比較して、エネルギー消費をどの程度低減できるか？
• RQ3 神経形状システムにおける連続時間ニューラルダイナミクスは、自律学習と頑健な環境相互作用をサポートできるか？
• RQ4 神経形状認知エージェントにおける計算の空間的分散は、どのような利点をもたらすか？
• RQ5 リアルタイム処理は、体化エージェントにおけるより速い応答と高い機敏性をどのように実現するか？

主な発見

• リアルタイムで連続時間ダイナミクスを用いた神経形状エージェントは、従来の人工ニューラルネットワークと比較して顕著に低いエネルギー消費を示した。
• 並列的アナログ/デジタル回路におけるメモリ内計算の活用により、効率的で低消費電力の計算が可能となり、生物学的神経系に近く模倣された。
• 神経形状ハードウェアを搭載した体化エージェントは、リアルタイムでの相互作用を通じて、動的環境において自律学習と適応的行動を示した。
• 神経形状処理における空間的・時間的要因の統合は、離散的・逐次的処理と比較して、より速い応答時間と向上した機敏性を実現した。
• 本アプローチは、時間多重で再利用される計算ユニットに依存せずに、頑健なリアルタイム制御を可能にした。
• 生物学的スタイルの計算—空間的分散と連続時間ダイナミクスを用いる—が、最小限のエネルギー消費で高い性能を達成できることを実証した。