[논문 리뷰] Bridge Data Center AI Systems with Edge Computing for Actionable Information Retrieval.

Zhengchun Liu, Ahsan Ali외 11명|arXiv (Cornell University)|2021. 05. 28.

Scientific Computing and Data Management참고 문헌 37인용 수 5

한 줄 요약

이 논문은 고속도 데이터를 발생시키는 싱크로트론 및 XFEL 비트라인에서 기계학습 모델 훈련을 가속화하기 위해 데이터 센터 AI 시스템을 엣지 컴퓨팅과 통합하는 것을 제안한다. 엣지에서 실시간 데이터 처리와 사전 훈련된 모델을 활용함으로써, 특화된 모델의 빠른 구현이 가능해져 데이터 압축 및 특징 탐지에 있어 효율성을 높이며, 실험 데이터에 대한 인사이트 도달 시간을 크게 단축시킨다.

ABSTRACT

Extremely high data rates at modern synchrotron and X-ray free-electron lasers (XFELs) light source beamlines motivate the use of machine learning methods for data reduction, feature detection, and other purposes. Regardless of the application, the basic concept is the same: data collected in early stages of an experiment, data from past similar experiments, and/or data simulated for the upcoming experiment are used to train machine learning models that, in effect, learn specific characteristics of those data; these models are then used to process subsequent data more efficiently than would general-purpose models that lack knowledge of the specific dataset or data class. Thus, a key challenge is to be able to train models with sufficient rapidity that they can be deployed and used within useful timescales. We describe here how specialized data center AI systems can be used for this purpose.

연구 동기 및 목표

• 실시간으로 처리해야 하는 싱크로트론 및 X선 자유전자 레이저(XFEL) 비트라인으로부터 발생하는 극도로 높은 데이터 속도 문제를 해결하기 위해.
• 데이터 압축 및 특징 탐지에 사용되는 기계학습 모델의 훈련 및 구현에 소요되는 시간을 줄이기 위해.
• 데이터 센터 AI와 엣지 컴퓨팅 인프라를 결합하여 특화된 모델의 빠른 구현을 가능하게 하기 위해.
• 과거 데이터, 시뮬레이션 데이터, 실시간 데이터를 활용하여 실행 가능한 정보 검색 성능을 향상시키기 위해.

제안 방법

• 역사적 데이터, 시뮬레이션 데이터, 초기 실험 데이터를 기반으로 데이터 센터 AI 시스템을 활용해 기계학습 모델을 훈련시키기 위해.
• 훈련된 모델을 엣지 장치로 이관하여 데이터 소스에서 실시간 추론을 수행하기 위해.
• 데이터셋 고유의 특성을 학습하는 특화된 모델을 적용하여 일반 목적 모델 대비 처리 효율성을 향상시키기 위해.
• 초기 데이터 처리를 수행하고 중앙 시스템으로의 전송 전 데이터 양을 줄이기 위해 엣지 컴퓨팅을 구현하기 위해.
• 유사한 과거 실험 및 시뮬레이션 데이터를 조합하여 모델의 일반화 능력 향상과 훈련 속도 향상을 위해.
• 유용한 실험 시간 척도 내에서 저지연 추론을 보장하기 위해 모델 배포 파이프라인을 최적화하기 위해.

실험 결과

연구 질문

• RQ1 어떻게 기계학습 모델을 충분히 빠르게 훈련시켜 고속도 데이터를 발생시키는 비트라인 환경에서 실시간 데이터 처리를 지원할 수 있는가?
• RQ2 엣지 컴퓨팅은 실험 데이터의 추론 효율성 향상과 지연 감소에 어떤 역할을 하는가?
• RQ3 일반 목적 모델에 비해 데이터셋 특화 모델은 데이터 압축 및 특징 탐지 정확도 측면에서 어떻게 비교되는가?
• RQ4 데이터 센터 AI와 엣지 시스템의 통합은 실험 중 실행 가능한 인사이트를 위한 모델의 적시 배포를 가능하게 하는가?
• RQ5 역사적, 시뮬레이션, 실시간 데이터를 결합할 경우 모델 훈련 속도와 성능에 어떤 영향을 미치는가?

주요 결과

• 비트라인 전용 데이터로 훈련된 특화된 기계학습 모델은 일반 목적 모델에 비해 데이터 압축 및 특징 탐지 작업에서 뚜렷한 성능 우위를 보였다.
• 데이터 센터 AI와 엣지 컴퓨팅의 통합은 더 빠른 모델 구현을 가능하게 하여 실험 데이터에 대한 인사이트 도달 시간을 단축시켰다.
• 엣지에서의 실시간 처리는 데이터 전송 부담을 줄이고 실행 가능한 정보 검색 속도를 가속화시켰다.
• 역사적 및 시뮬레이션 데이터를 활용한 모델 훈련은 학습 과정을 가속화하여 향후 실험에 대한 빠른 구현을 가능하게 하였다.
• 제안된 파이프라인은 유용한 실험 시간 척도 내에서 모델의 반복적 개선 및 적응을 지원한다.