[論文レビュー] The Need for Speed of AI Applications: Performance Comparison of Native vs. Browser-based Algorithm Implementations

Bernd Malle, Nicola Giuliani+2 more|arXiv (Cornell University)|Feb 11, 2018

Parallel Computing and Optimization Techniques参考文献 13被引用数 4

ひとこと要約

この論文は、ブラウザ環境におけるネイティブコード、JavaScript、ASM.js、WebAssembly (WASM) の各実装におけるAIアルゴリズムのパフォーマンスを評価している。WebAssemblyは、高度なVM最適化のおかげで、しばしばネイティブバイナリを上回る性能を示すことが判明しており、クライアント側コンピューティングにおけるネイティブ実行の優位性という前提を疑問視するものである。

ABSTRACT

AI applications pose increasing demands on performance, so it is not surprising that the era of client-side distributed software is becoming important. On top of many AI applications already using mobile hardware, and even browsers for computationally demanding AI applications, we are already witnessing the emergence of client-side (federated) machine learning algorithms, driven by the interests of large corporations and startups alike. Apart from mathematical and algorithmic concerns, this trend especially demands new levels of computational efficiency from client environments. Consequently, this paper deals with the question of state-of-the-art performance by presenting a comparison study between native code and different browser-based implementations: JavaScript, ASM.js as well as WebAssembly on a representative mix of algorithms. Our results show that current efforts in runtime optimization push the boundaries well towards (and even beyond) native binary performance. We analyze the results obtained and speculate on the reasons behind some surprises, rounding the paper off by outlining future possibilities as well as some of our own research efforts.

研究の動機と目的

• ネイティブにコンパイルされたコードと比較して、ブラウザベースの実行環境におけるAIワークロードのパフォーマンスを評価すること。
• 現代のブラウザランタイム技術—JavaScript、ASM.js、WebAssembly—がアルゴリズムのパフォーマンスに与える影響を評価すること。
• クライントサイドAI計算におけるパフォーマンスのボトル neck や最適化の機会を特定すること。
• フェデレーテッドおよび分散型機械学習を直接Webブラウザにデプロイ可能かどうかを検討すること。

提案手法

• C/C++で実装された10の代表的アルゴリズム（整列、グラフ走査、信号処理、機械学習など）を、ネイティブC/C++、JavaScript、ASM.js、WebAssemblyの4つの実行環境でベンチマーク化した。
• Emscriptenを用いてC/C++コードをASM.jsおよびWebAssemblyにコンパイルし、ターゲット間での機能の同等性を保証した。
• 一貫した入力データとハードウェアを用いて、制御された環境で全ベンチマークを実行し、パフォーマンスの差を明確に分離した。
• 複数回の実行における実行時間を測定し、中央値と標準偏差を報告することで、一貫性を評価した。
• 各アルゴリズムごとに線形スケールで結果をグループ化し、技術間での相対的なパフォーマンス向上をより明確に可視化した。
• プロファイリングを通じてランタイム動作を分析し、特にWASMの優位性に起因するパフォーマンスの異常な要因を推測した。

実験結果

リサーチクエスチョン

• RQ1 WebAssemblyのパフォーマンスは、ブラウザ環境における計算集約的AIアルゴリズムのネイティブバイナリ実行と比べてどうか？
• RQ2 現代のブラウザVM最適化（例：JITコンパイル、SIMD、並列処理）は、ネイティブパフォーマンスをどの程度縮小または上回るのか？
• RQ3 同じソースコードからコンパイルされたにもかかわらず、特定のアルゴリズムがWebAssemblyで予期しないパフォーマンス向上を示すのはなぜか？
• RQ4 WebAssemblyを介したブラウザベース実行が、フェデレーテッドおよびクライントサイド機械学習のためのネイティブまたはサーバーサイド実行の代替手段として実現可能なのか？

主な発見

• WebAssemblyは、高速フーリエ変換やフロイド・ワーシャルなどの複数のベンチマークで、ネイティブバイナリ実行を常に上回った。一部のケースではパフォーマンス向上が2倍以上にのぼった。
• JavaScriptとWebAssemblyのパフォーマンス差は顕著で、パーカーメーションやIntCompareといった計算集約的アルゴリズムでは、WASMが最大10倍の高速化を達成した。
• ASM.jsはJavaScriptに比べて中程度の改善を示したが、特にベクトル化可能かつ並列化可能なワークロードではWebAssemblyのパフォーマンスに及ばなかった。
• 驚くべきことに、FillArrayRand や MinCuts といったアルゴリズムでは、WebAssemblyがネイティブコードを上回るパフォーマンスを発揮した。これは、現代のブラウザにおけるVMレベルの最適化が、従来のコンパイル技術を凌駆する可能性を示唆している。
• メモリ集約的でランダムアクセスが頻発するアルゴリズム（例：FillArrayRand や IntCompare 1e7）では、パフォーマンスのばらつきが最も大きかった。これは、メモリアクセスパターンやVMのメモリ管理に敏感であることを示している。
• これらの結果から、将来のWebAssembly最適化（例：ネイティブSIMD、共有メモリ並列処理）によって、分散型およびフェデレーテッド学習ワークロードでネイティブパフォーマンスをさらに縮小または上回る可能性があると示唆される。