[논문 리뷰] EURETILE 2010-2012 summary: first three years of activity of the European Reference Tiled Experiment

Pier Stanislao Paolucci, Iuliana Bacivarov외 6명|arXiv (Cornell University)|2013. 05. 07.

Advanced Memory and Neural Computing참고 문헌 78인용 수 11

한 줄 요약

EURETILE 2010–2012는 뇌를 모델로 삼고, 고장 내성적인 타일형 다핵 아키텍처를 제안하며, 신경 세포의 열, 피질 부위, 피질 전체를 모방한 계층적 타일 간 통신을 구현한다. 분석적 및 생물학적 유사 기법을 활용한 통합 소프트웨어 툴체인을 통합하여 응용 프로그램을 하드웨어 타일에 매핑함으로써 효율적인 운영체제 서비스와 타일 내 병렬 처리를 가능하게 하였으며, 다수의 타일 시뮬레이터와 하드웨어 플랫폼을 통해 고유한 DPSNN-STDP 벤치마크를 통해 검증되었다.

ABSTRACT

This is the summary of first three years of activity of the EURETILE FP7 project 247846. EURETILE investigates and implements brain-inspired and fault-tolerant foundational innovations to the system architecture of massively parallel tiled computer architectures and the corresponding programming paradigm. The execution targets are a many-tile HW platform, and a many-tile simulator. A set of SW process - HW tile mapping candidates is generated by the holistic SW tool-chain using a combination of analytic and bio-inspired methods. The Hardware dependent Software is then generated, providing OS services with maximum efficiency/minimal overhead. The many-tile simulator collects profiling data, closing the loop of the SW tool chain. Fine-grain parallelism inside processes is exploited by optimized intra-tile compilation techniques, but the project focus is above the level of the elementary tile. The elementary HW tile is a multi-processor, which includes a fault tolerant Distributed Network Processor (for inter-tile communication) and ASIP accelerators. Furthermore, EURETILE investigates and implements the innovations for equipping the elementary HW tile with high-bandwidth, low-latency brain-like inter-tile communication emulating 3 levels of connection hierarchy, namely neural columns, cortical areas and cortex, and develops a dedicated cortical simulation benchmark: DPSNN-STDP (Distributed Polychronous Spiking Neural Net with synaptic Spiking Time Dependent Plasticity). EURETILE leverages on the multi-tile HW paradigm and SW tool-chain developed by the FET-ACA SHAPES Integrated Project (2006-2009).

연구 동기 및 목표

• 다량의 병렬 처리를 위한 고장 내성적이고 뇌를 모델로 삼은 시스템 아키텍처를 설계하기.
• 분석적 및 생물학적 유사 기법을 활용해 응용 프로그램을 하드웨어 타일에 매핑하는 통합 소프트웨어 툴체인을 개발하기.
• 하드웨어에 의존하는 소프트웨어 생성을 통해 최소한의 오버헤드로 효율적인 운영체제 서비스를 제공하기.
• 신경 세포의 열, 피질 부위, 피질 전체를 모방한 3단계 계층적 신경 구조를 반영한 고대역폭·저지연 타일 간 통신을 구현하기.
• 모의 시뮬레이터와 실제 하드웨어 플랫폼에서 전용 피질 시뮬레이션 벤치마크인 DPSNN-STDP를 통해 아키텍처를 검증하기.

제안 방법

• 프로젝트는 분석적 및 생물학적 유사 기법의 조합을 통해 통합 소프트웨어 툴체인 내에서 소프트웨어 프로세스–하드웨어 타일 매핑 후보를 생성한다.
• 운영체제 서비스를 최대 효율성과 최소 오버헤드로 제공하기 위해 하드웨어에 의존하는 소프트웨어를 자동으로 생성한다.
• 다수의 타일 시뮬레이터가 프로파일링 데이터를 수집하여 툴체인의 피드백 루프를 닫고 최적화를 이끌어낸다.
• 최적화된 타일 내 컴파일 기법을 통해 프로세스 내 세분화된 병렬 처리를 활용한다.
• 각 기본 하드웨어 타일은 고장 내성적인 분산 네트워크 프로세서와 타일 간 통신을 위한 ASIP 가속기 기능을 통합한다.
• 타일 간 통신은 신경 세포의 열, 피질 부위, 피질 전체를 모방한 3단계 신경 계층을 구현하여 뇌 유사 데이터 흐름을 가능하게 한다.

실험 결과

연구 질문

• RQ1 뇌를 모델로 삼은 통신 계층을 어떻게 효과적으로 타일형 다핵 아키텍처에 매핑하여 저지연·고대역폭 타일 간 통신을 달성할 수 있는가?
• RQ2 효율적인 소프트웨어 프로세스–하드웨어 타일 매핑을 생성하기 위한 분석적 및 생물학적 유사 기법의 최적 조합은 무엇인가?
• RQ3 최소한의 오버헤드로 운영체제 서비스를 생성하여 타일 기반 하드웨어 플랫폼에서 성능을 극대화할 수 있는 방법은 무엇인가?
• RQ4 DPSNN-STDP 벤치마크는 제안된 아키텍처가 피질 시뮬레이션 워크로드에 적합하다는 점을 어느 정도 입증하는가?
• RQ5 프로파일링 피드백를 포함한 통합 소프트웨어 툴체인은 타일 시스템에서 응용 프로그램 매핑과 성능을 얼마나 향상시키는가?

주요 결과

• 통합 소프트웨어 툴체인은 분석적 및 생물학적 유사 기법의 융합을 통해 성공적으로 소프트웨어 프로세스–하드웨어 타일 매핑 후보를 생성하였다.
• 하드웨어에 의존하는 소프트웨어 생성은 최소한의 오버헤드로 최대 효율성을 달성하여 타일 플랫폼에서 고성능 운영체제 서비스를 가능하게 하였다.
• 다수의 타일 시뮬레이터가 포괄적인 프로파일링 데이터를 수집하여 피드백 기반 최적화를 가능하게 하고 툴체인의 피드백 루프를 닫았다.
• 최적화된 타일 내 컴파일 기법을 통해 세분화된 병렬 처리를 효과적으로 활용하여 프로세스 수준의 성능 향상을 이룬 바 있다.
• 신경 세포의 열, 피질 부위, 피질 전체를 모방한 3단계 계층적 타일 간 통신 모델의 구현이 고대역폭·저지연 데이터 교환을 가능케 하였다.
• DPSNN-STDP 벤치마크는 시냅스 가소성을 갖춘 스파iking 신경망을 효율적으로 시뮬레이션할 수 있음을 입증하여, 뇌를 모델로 삼은 워크로드에 적합한 아키텍처임을 검증하였다.