[論文レビュー] EURETILE 2010-2012 summary: first three years of activity of the European Reference Tiled Experiment

Pier Stanislao Paolucci, Iuliana Bacivarov+6 more|arXiv (Cornell University)|May 7, 2013

Advanced Memory and Neural Computing参考文献 78被引用数 11

ひとこと要約

EURETILE 2010–2012 は、神経柱、皮質領域、および皮質を模倣した階層的タイル間通信を備えた、脳にインspiredされた耐障害性を持つタイル型スケールアウトマルチコアアーキテクチャを提示する。解析的および生物学的インスピレーションに基づく手法を統合した包括的なソフトウェアツールチェーンを用いてアプリケーションをハードウェアタイルにマッピングし、効率的なOSサービスとタイル内並列処理を実現。多数のタイルを搭載したシミュレータおよびHWプラットフォーム上で、独自開発のDPSNN-STDPベンチマークにより検証された。

ABSTRACT

This is the summary of first three years of activity of the EURETILE FP7 project 247846. EURETILE investigates and implements brain-inspired and fault-tolerant foundational innovations to the system architecture of massively parallel tiled computer architectures and the corresponding programming paradigm. The execution targets are a many-tile HW platform, and a many-tile simulator. A set of SW process - HW tile mapping candidates is generated by the holistic SW tool-chain using a combination of analytic and bio-inspired methods. The Hardware dependent Software is then generated, providing OS services with maximum efficiency/minimal overhead. The many-tile simulator collects profiling data, closing the loop of the SW tool chain. Fine-grain parallelism inside processes is exploited by optimized intra-tile compilation techniques, but the project focus is above the level of the elementary tile. The elementary HW tile is a multi-processor, which includes a fault tolerant Distributed Network Processor (for inter-tile communication) and ASIP accelerators. Furthermore, EURETILE investigates and implements the innovations for equipping the elementary HW tile with high-bandwidth, low-latency brain-like inter-tile communication emulating 3 levels of connection hierarchy, namely neural columns, cortical areas and cortex, and develops a dedicated cortical simulation benchmark: DPSNN-STDP (Distributed Polychronous Spiking Neural Net with synaptic Spiking Time Dependent Plasticity). EURETILE leverages on the multi-tile HW paradigm and SW tool-chain developed by the FET-ACA SHAPES Integrated Project (2006-2009).

研究の動機と目的

• マス・パラレルなタイル型プロセッサ向けに、耐障害性があり脳にインスパイアされたシステムアーキテクチャを設計すること。
• 解析的および生物学的インスピレーションに基づく手法を用いて、アプリケーションをハードウェアタイルにマッピングする包括的ソフトウェアツールチェーンを開発すること。
• ハードウェア依存のソフトウェア生成により、最小限のオーバーヘッドで効率的なOSサービスを実現すること。
• 神経階層（柱、領域、皮質）を模倣した高帯域幅・低遅延のタイル間通信を実装すること。
• シミュレータおよび実機ハードウェアの両方で、専用の皮質シミュレーションベンチマークDPSNN-STDPを用いて、アーキテクチャを検証すること。

提案手法

• 本プロジェクトは、包括的なソフトウェアツールチェーンを通じて、解析的および生物学的インスピレーションに基づく手法を組み合わせ、SWプロセスとHWタイルのマッピング候補を生成する。
• ハードウェア依存のソフトウェアが自動生成され、OSサービスの最大効率と最小限のオーバーヘッドを実現する。
• 多数のタイルを搭載したシミュレータがプロファイリングデータを収集し、ツールチェーンのフィードバックループを閉じ、最適化を支援する。
• 最適化されたタイル内コンパイル技術を用いて、プロセス内の細粒度並列処理を活用する。
• 各基本的なハードウェアタイルには、耐障害性を持つ分散ネットワークプロセッサと、タイル間通信用のASIPアクセラレータが統合されている。
• タイル間通信は、神経柱、皮質領域、および皮質の3段階の神経階層を模倣しており、脳に似たデータフローを実現する。

実験結果

リサーチクエスチョン

• RQ1 脳にインスパイアされた通信階層を、タイル型マルチコアアーキテクチャに効果的にマッピングすることで、低遅延・高帯域幅のタイル間通信を達成できるか？
• RQ2 効率的なSWプロセス–HWタイルマッピングを生成するための、解析的および生物学的インスピレーションに基づく手法の最適な組み合わせは何か？
• RQ3 最小限のオーバーヘッドでOSサービスを生成することで、タイル型ハードウェアプラットフォーム上でパフォーマンスを最大限に引き出せるか？
• RQ4 DPSNN-STDPベンチマークは、提案されたアーキテクチャが皮質シミュレーションワークロードに適していることをどの程度示しているか？
• RQ5 プロファイリングフィードバックを含む包括的ソフトウェアツールチェーンは、タイル型システムにおけるアプリケーションマッピングとパフォーマンスをどの程度改善するか？

主な発見

• 包括的なソフトウェアツールチェーンは、解析的および生物学的インスピレーションのハイブリッド手法を用いて、SWプロセス–HWタイルマッピング候補を効果的に生成した。
• ハードウェア依存のソフトウェア生成により、最小限のオーバーヘッドで最大の効率が達成され、タイルプラットフォーム上で高性能なOSサービスが実現した。
• 多数のタイルを搭載したシミュレータが包括的なプロファイリングデータを収集し、フィードバック駆動の最適化を可能にし、ツールチェーンのループを閉じた。
• 最適化されたタイル内コンパイル技術を用いて、細粒度並列処理が効果的に活用され、プロセスレベルでのパフォーマンスが向上した。
• 神経柱、皮質領域、皮質の3段階階層的タイル間通信モデルの実装により、高帯域幅・低遅延のデータ交換が可能になった。
• DPSNN-STDPベンチマークは、シナプス可塑性を有するスパイikingニューラルネットワークを効率的にシミュレートできる能力を示し、脳にインスパイアされたワークロードに適していることを検証した。