[논문 리뷰] AI Tax: The Hidden Cost of AI Data Center Applications

Daniel Richins, Dharmisha Doshi외 10명|arXiv (Cornell University)|2020. 07. 21.

CCD and CMOS Imaging Sensors참고 문헌 22인용 수 5

한 줄 요약

이 논문은 AI 중심 엣지 데이터센터 애플리케이션에서 사전 및 사후 처리로 인한 숨겨진 계산, 스토리지, 네트워크 오버헤드를 'AI 세금'이라는 개념으로 도입한다. 오픈소스 도구와 AI 가속기 기반으로 실시간 얼굴 인식 시스템을 구현한 결과, 이러한 비인ference 작업 부담이 심각한 성능 저하를 유발하며, 전용으로 설계된 이질적 엣지 데이터센터를 사용할 경우 동일한 AI 워크로드에서 일반 서버 설정 대비 총소유비용(TCO)이 15% 낮아짐을 입증한다.

ABSTRACT

Artificial intelligence and machine learning are experiencing widespread adoption in industry and academia. This has been driven by rapid advances in the applications and accuracy of AI through increasingly complex algorithms and models; this, in turn, has spurred research into specialized hardware AI accelerators. Given the rapid pace of advances, it is easy to forget that they are often developed and evaluated in a vacuum without considering the full application environment. This paper emphasizes the need for a holistic, end-to-end analysis of AI workloads and reveals the "AI tax." We deploy and characterize Face Recognition in an edge data center. The application is an AI-centric edge video analytics application built using popular open source infrastructure and ML tools. Despite using state-of-the-art AI and ML algorithms, the application relies heavily on pre-and post-processing code. As AI-centric applications benefit from the acceleration promised by accelerators, we find they impose stresses on the hardware and software infrastructure: storage and network bandwidth become major bottlenecks with increasing AI acceleration. By specializing for AI applications, we show that a purpose-built edge data center can be designed for the stresses of accelerated AI at 15% lower TCO than one derived from homogeneous servers and infrastructure.

연구 동기 및 목표

• 사전 및 사후 처리로 인해 발생하는 성능 및 비용 오버헤드가 자주 간과됨을 드러내기.
• AI 가속기만으로도 시스템 수준의 병목 현상이 여전히 존재함을 입증하며, 특히 스토리지 및 네트워크 I/O에서의 영향을 강조하기.
• AI 커널 성능만을 측정하는 것이 아니라 전체 애플리케이션 파이프라인을 반영한 종단 간 벤치마킹의 필요성을 주장하기.
• AI 워크로드에 대해 전용으로 설계된 이질적 엣지 데이터센터가 일반 서버 배포 방식보다 총소유비용(TCO)을 15% 낮출 수 있음을 보여주기.
• 스트리밍 AI 애플리케이션에서 커뮤니케이션 프레임워크인 Apache Kafka가 지연 시간과 자원 경쟁을 유발하는 역할을 강조하기.

제안 방법

• 엣지 데이터센터 환경에서 FaceNet 모델 기반 실생활 오픈소스 얼굴 인식 애플리케이션을 구현하였다.
• 최신 기술의 AI 가속기를 사용하여 파이프라인 전 단계에서의 종단 간 지연 시간과 시스템 스루풋을 측정하였다.
• 데이터 수신, 사전 처리, 모델 추론, 사후 처리, 컴포onent 간 통신을 포함한 전체 애플리케이션 스택을 특성화하였다.
• 스트리밍 워크로드를 위한 커뮤니케이션 기반으로 Apache Kafka를 사용하여 네트워크 및 스토리지 I/O 병목 현상을 분석하였다.
• AI 워크로드 최적화를 위해 이질적 하드웨어(CPU, GPU, AI 가속기)를 포함한 전용 엣지 데이터센터를 설계하고 평가하였다.
• 동일한 AI 워크로드 조건 하에서 일반 서버 클러스터와 전용 엣지 데이터센터 간 TCO를 비교하였다.

실험 결과

연구 질문

• RQ1 AI 커널 계산 외에 종단 간 AI 추론 파이프라인에서 지연 시간과 자원 오버헤드의 주요 원인은 무엇인가?
• RQ2 사전 및 사후 처리 단계가 AI 중심 애플리케이션의 전반적 성능과 인프라 비용에 어떤 영향을 미치는가?
• RQ3 AI 가속이 증가함에 따라 엣지 데이터센터에서 스토리지 및 네트워크 I/O가 얼마나 심각한 병목 현상이 되는가?
• RQ4 전용으로 설계된 이질적 엣지 데이터센터가 AI 워크로드에서 일반 서버 기반 배포 방식보다 총소유비용(TCO)을 낮출 수 있는가?
• RQ5 표준 커뮤니케이션 프레임워크인 Apache Kafka의 사용이 스트리밍 AI 애플리케이션의 종단 간 지연 시간과 자원 활용도에 어떤 영향을 미치는가?

주요 결과

• 사전 및 사후 처리 단계는 총 요청 지연 시간의 상당 부분을 차지하며, CPU 의존도가 높아 AI 가속화에도 불구하고 주요 성능 병목 현상이 된다.
• 스토리지 및 네트워크 대역폭이 AI 가속 워크로드에서 주요 병목 현상으로 드러나며, 특히 고스루풋 스트리밍 조건에서 두드러진다.
• Apache Kafka를 커뮤니케이션 기반으로 사용할 경우 명백한 브로커 대기 시간이 발생하고, 고부하 조건에서 시스템 지연 시간이 증가한다.
• 고성능 AI 가속기를 사용하더라도 전체 시스템 스루풋은 비AI 컴포onent에 의해 제한되며, 이는 'AI 세금' 존재를 확인시킨다.
• 동일한 AI 워크로드에서 전용으로 설계된 이질적 엣지 데이터센터가 일반 서버 기반 배포 방식 대비 총소유비용(TCO)을 15% 낮춘다.
• AI 커널 성능만을 기준으로 한 벤치마킹은 종단 간 애플리케이션 성능을 심각하게 과소평가하므로, 종합적이고 전체 스택 기반 평가의 필요성을 강조한다.