[논문 리뷰] The Need for Speed of AI Applications: Performance Comparison of Native vs. Browser-based Algorithm Implementations

Bernd Malle, Nicola Giuliani외 2명|arXiv (Cornell University)|2018. 02. 11.

Parallel Computing and Optimization Techniques참고 문헌 13인용 수 4

한 줄 요약

이 논문은 브라우저 환경에서 네이티브 코드, JavaScript, ASM.js, WebAssembly(WASM)에서의 AI 알고리즘 구현 성능을 평가한다. WebAssembly는 고급 VM 최적화 덕분에 종종 네이티브 바이너리보다 뛰어난 성능을 보이며, 클라이언트 사이드 컴퓨팅에서 네이티브 실행의 우월성에 대한 기존 가정을 도전한다.

ABSTRACT

AI applications pose increasing demands on performance, so it is not surprising that the era of client-side distributed software is becoming important. On top of many AI applications already using mobile hardware, and even browsers for computationally demanding AI applications, we are already witnessing the emergence of client-side (federated) machine learning algorithms, driven by the interests of large corporations and startups alike. Apart from mathematical and algorithmic concerns, this trend especially demands new levels of computational efficiency from client environments. Consequently, this paper deals with the question of state-of-the-art performance by presenting a comparison study between native code and different browser-based implementations: JavaScript, ASM.js as well as WebAssembly on a representative mix of algorithms. Our results show that current efforts in runtime optimization push the boundaries well towards (and even beyond) native binary performance. We analyze the results obtained and speculate on the reasons behind some surprises, rounding the paper off by outlining future possibilities as well as some of our own research efforts.

연구 동기 및 목표

• 네이티브로 컴iles된 코드와 비교하여 브라우저 기반 실행 환경에서의 AI 워크로드 성능을 평가하기 위해.
• 최신 브라우저 런타임 기술—JavaScript, ASM.js, WebAssembly—이 알고리즘 성능에 미치는 영향을 평가하기 위해.
• 클라이언트 사이드 AI 계산에서의 성능 저하 요인과 최적화 기회를 규명하기 위해.
• 페더레이티드 및 분산 머신러닝을 직접 웹 브라우저에서 배포하는 것이 가능한지 탐색하기 위해.

제안 방법

• 정렬, 그래프 탐색, 신호 처리, 머신러닝에 이르기까지 다양한 알고리즘을 포함한 10개의 대표 알고리즘을 네 가지 실행 환경—네이티브 C/C++, JavaScript, ASM.js, WebAssembly—에서 벤치마킹하였다.
• 기능 일치를 확보하기 위해 Emscripten을 사용해 C/C++ 코드를 ASM.js 및 WebAssembly로 컴파일하였다.
• 성능 차이를 고립시키기 위해 일관된 입력 데이터와 하드웨어를 사용해 통제된 환경에서 모든 벤치마크를 실행하였다.
• 여러 번의 실행을 통해 실행 시간을 측정하고 중앙값과 표준편차를 보고하여 일관성을 평가하였다.
• 기술 간 상대적 성능 향상을 더 잘 시각화하기 위해 각 알고리즘별로 선형 척도로 결과를 그룹화하였다.
• 프로파일링을 통해 런타임 동작을 분석하고, 특히 WASM의 우월성과 관련된 성능 이질성의 잠재적 원인을 추측하였다.

실험 결과

연구 질문

• RQ1 브라우저 환경에서 계산적으로 집약적인 AI 알고리즘에 대해 WebAssembly 성능은 네이티브 바이너리 실행과 어떻게 비교되는가?
• RQ2 최신 브라우저 VM 최적화(예: JIT 컴파일, SIMD, 병렬 처리)는 네이티브 성능을 얼마나 줄이거나 초월하는가?
• RQ3 동일한 소스에서 컴파일된 네이티브 코드와 비교해 왜 일부 알고리즘이 WebAssembly에서 놀라운 성능 향상을 보이는가?
• RQ4 WebAssembly를 통한 브라우저 기반 실행이 페더레이티드 및 클라이언트 사이드 머신러닝의 네이티브 또는 서버 사이드 실행 대안이 될 수 있는가?

주요 결과

• WebAssembly는 Fast Fourier Transform 및 Floyd-Warshall와 같은 여러 벤치마크에서 네이티브 바이너리 실행을 일관되게 뛰어넘었으며, 일부 사례에서는 성능 향상이 2배를 초과하였다.
• JavaScript와 WebAssembly 간의 성능 격차는 뚜렷했으며, Permutations 및 IntCompare와 같은 계산 집약적인 알고리즘에서 WASM는 최대 10배의 속도 향상을 기록하였다.
• ASM.js는 JavaScript 대비 중간 정도의 향상을 보였지만, 특히 벡터화 및 병렬 처리가 가능한 워크로드에서는 WebAssembly의 성능에 못 미쳤다.
• 놀랍게도, FillArrayRand 및 MinCuts와 같은 알고리즘에서 WebAssembly는 네이티브 코드보다 뛰어난 성능을 기록했으며, 이는 현대형 브라우저의 VM 수준 최적화가 전통적 컴파일링을 초월할 수 있음을 시사한다.
• 메모리 집약적이고 랜덤 액세스가 많은 알고리즘—예: FillArrayRand 및 IntCompare 1e7—에서 성능 변동성이 가장 컸으며, 이는 메모리 액세스 패턴과 VM 메모리 관리에 민감함을 시사한다.
• 결과는 향후 WebAssembly 최적화—예: 네이티브 SIMD 및 공유 메모리 동시성—이 분산 및 페더레이티드 러닝 워크로드에서 네이티브 성능을 더 이상 뛰어넘을 수 있음을 시사한다.