[논문 리뷰] FastML Science Benchmarks: Accelerating Real-Time Scientific Edge Machine Learning

J. Duarte, Nhan Viet Tran외 5명|arXiv (Cornell University)|2022. 07. 16.

Advanced Memory and Neural Computing인용 수 5

한 줄 요약

이 논문은 입자물리학 및 가속기 제어와 같은 과학 분야에서 감독, 비감독, 강화학습 작업을 대상으로 초고속 실시간 엣지 기계학습 벤치마크를 소개한다. 이는 최소 3.9 μs까지의 초단시간 지연을 달성한다. 벤치마크에는 이벤트 트리거링, 손실 압축, 비드 제어가 포함되며, 나노초에서 밀리초 수준의 지연 제약을 충족하기 위해 하드웨어 최적화된 모델을 FPGA에 구현한다. 이는 차세대 과학 기기에서 필수적인 요건이다.

ABSTRACT

Applications of machine learning (ML) are growing by the day for many unique and challenging scientific applications. However, a crucial challenge facing these applications is their need for ultra low-latency and on-detector ML capabilities. Given the slowdown in Moore's law and Dennard scaling, coupled with the rapid advances in scientific instrumentation that is resulting in growing data rates, there is a need for ultra-fast ML at the extreme edge. Fast ML at the edge is essential for reducing and filtering scientific data in real-time to accelerate science experimentation and enable more profound insights. To accelerate real-time scientific edge ML hardware and software solutions, we need well-constrained benchmark tasks with enough specifications to be generically applicable and accessible. These benchmarks can guide the design of future edge ML hardware for scientific applications capable of meeting the nanosecond and microsecond level latency requirements. To this end, we present an initial set of scientific ML benchmarks, covering a variety of ML and embedded system techniques.

연구 동기 및 목표

• 고도로 발전한 기기에서 증가하는 데이터 속도로 인해 과학적 엣지에서 초저지연 기계학습의 필요성이 증가하고 있음에 대응하기 위해.
• 소비자 중심의 기계학습 벤치마크인 MLPerf와 같은 기존 벤치마크를 뛰어넘어, 일반적으로 적용 가능하고 시스템 제약 조건을 반영한 벤치마크를 정의하기 위해.
• 감독, 비감독, 강화학습 등 다양한 기계학습 철학을 포함하며, 엄격한 지연 및 데이터 속도 요구사항을 충족하는 실제 과학 워크로드에 적용 가능한 벤치마크를 제공하기 위해.
• 표준화되고 접근 가능한 벤치마크 세트를 제공하여 과학적 엣지 기계학습을 위한 하드웨어-소프트웨어 공동 설계를 가속화하기 위해.
• 은하계, 신경과학, 현미경 영상 분석 등 향후 확장이 가능한 영역으로의 확장을 고려한 확장 가능한 벤치마크 설계를 통해 가능성을 열기 위해.

제안 방법

• 감독 학습을 통한 희귀 사건 트리거링(점군 입력), 비감독 학습을 통한 센서 데이터 압축(에너지 분포 지표 기반), 실시간 비드 제어를 위한 강화학습(시계열 센서 데이터 기반)을 포함하는 세 가지 핵심 벤치마크 작업을 제안한다.
• 지연(예: 강화학습 벤치마크의 경우 3.9 μs), 데이터 속도(초당 수 테라바이트 수준), 파이프라인 간격(예: 비드 제어의 경우 5 ms) 등 시스템 수준의 제약 조건을 정의한다.
• 가속기 환경을 시뮬레이션하기 위해 고정된 LSTM 대체 모델(150만 파라미터)을 사용하고, 인텔 아리아10 SoC에서 온라인 제어를 위한 경량 DQN 에이전트(35,000 파라미터)를 구현한다.
• 자원 제약이 있는 FPGA에서 초저지연 추론을 가능하게 하기 위해 모델 가중치와 편향을 20비트 고정소수점 정밀도로 정량화한다.
• 자원 사용 최소화를 위해 DQN 에이전트를 최적화하여 인텔 아리아10 SoC에서 53개의 DSP, 238개의 BRAM, 672개의 M9K 블록, 43,300개의 ALM, 92,600개의 플립플롭을 사용한다.
• 공개된 프로토타입 코드 리포지터리를 제공하여 평가의 표준화를 도모하고 과학 및 시스템 연구 공동체 내에서의 공동 활용을 촉진한다.

실험 결과

연구 질문

• RQ1 과학 기기와도 관련이 깊으면서도 다양한 분야에 일반적으로 적용 가능한 과학적으로 기반을 둔 실시간 엣지 기계학습 벤치마크를 어떻게 정의할 수 있는가?
• RQ2 과학적 엣지 기계학습의 혁신을 이끄는 데 있어 지연, 데이터 속도, 하드웨어 자원 사용량 등 핵심 시스템 수준의 제약 조건은 무엇인가?
• RQ3 감독, 비감독, 강화학습 등 다양한 기계학습 철학을 모두 포함하면서도 일반성과 기술적 엄밀함을 유지할 수 있는 벤치마크 작업을 어떻게 설계할 수 있는가?
• RQ4 임무 중심의 과학 응용 프로그램을 위해 임베디드 플랫폼인 FPGA에서 1마이크로초 이내의 추론 지연(예: 3.9 μs)을 달성할 수 있는가?
• RQ5 표준화된 벤치마크가 초대규모 과학 데이터 처리를 위한 기계학습 알고리즘과 하드웨어의 공동 설계를 가속화하는 데 어떤 역할을 할 수 있는가?

주요 결과

• 인텔 아리아10 SoC에서 가속기 비드 제어를 위한 강화학습 벤치마크는 3.9 μs의 지연을 달성하여 5 ms 제어 루프 요구사항을 충족하며, 데이터 이동을 위한 여유 공간을 확보한다.
• DQN 에이전트 모델은 20비트 고정소수점 표현으로 정량화되었으며, 53개의 DSP, 238개의 BRAM, 92,600개의 플립플롭 내에 수용되어 FPGA에 효율적으로 구현 가능하다.
• 벤치마크 세트는 세 가지 서로 다른 과학 워크로드를 포함한다: 이벤트 트리거링(감독 학습), 데이터 압축(비감독 학습), 비드 제어(강화 학습)로, 다양한 기계학습 및 시스템 요구사항을 커버한다.
• 벤치마크는 입자물리학, 플라즈마 물리학, 천문학, 신경과학 등 다양한 분야에 적용 가능하며, 향후 확장이 가능하도록 설계되었다.
• 제시된 벤치마크는 소비자 중심의 벤치마크인 MLPerf Mobile 및 Tiny와 비교해 지연 측면에서 훨씬 더 엄격하며, 이는 약 100배 빠른 추론 속도를 제공한다.
• 재현성, 공동 기여, 과학적 응용을 위한 새로운 엣지 기계학습 솔루션의 표준화된 평가를 지원하기 위해 공개된 코드 리포지터리가 출시되었다.