[論文レビュー] Swift for TensorFlow: A portable, flexible platform for deep learning

Brennan Saeta, Denys Shabalin+11 more|arXiv (Cornell University)|Mar 15, 2021

Scientific Computing and Data Management被引用数 2

ひとこと要約

Swift for TensorFlow は、事前コンパイルと言語統合型自動微分を活用したポータブルで柔軟なディープラーニングプラットフォームであり、モバイルデバイスおよびデータセンタークラスタへの効率的なデプロイを可能にしている。30以上のディープラーニングモデルをサポートしており、多様な環境におけるスケーラビリティと実用性を示している。

ABSTRACT

Swift for TensorFlow is a deep learning platform that scales from mobile devices to clusters of hardware accelerators in data centers. It combines a language-integrated automatic differentiation system and multiple Tensor implementations within a modern ahead-of-time compiled language oriented around mutable value semantics. The resulting platform has been validated through use in over 30 deep learning models and has been employed across data center and mobile applications.

研究の動機と目的

• モバイルデバイスおよび大規模なデータセンタークラスタにおいて、効率的に動作するスケーラブルなディープラーニングプラットフォームの構築を目的とする。
• 既存のディープラーニングフレームワークの限界を克服するため、自動微分を言語に直接統合することを目的とする。
• Swift の型安全性と可変値セマンティクスを活用して、高性能でポータブルな機械学習を実現することを目的とする。
• 柔軟なテンソル実装を通じて、幅広いモデルとデプロイシナリオをサポートすることを目的とする。

提案手法

• 多様なハードウェアプラットフォームにおけるパフォーマンス最適化のため、Swift の事前コンパイルを活用する。
• 自動微分を言語に直接統合し、シームレスな勾配計算を可能にする。
• メモリとパフォーマンスのトレードオフに柔軟に対応できる複数のテンソル実装をサポートする。
• パフォーマンスと表現力の向上のため、Swift のネイティブな可変値セマンティクスを活用する。
• モバイルからデータセンターのアクセcelレータまで、デバイス間でのテンソル管理を統一した抽象化レイヤーで行う。
• 1つの静的型付けされた言語環境内で、エンドツーエンドのモデル開発とデプロイを可能にする。

実験結果

リサーチクエスチョン

• RQ1 汎用言語に基づくディープラーニングプラットフォームは、専用フレームワークと同等のパフォーマンスとポータビリティを達成できるか？
• RQ2 言語統合型自動微分は、異種のハードウェアプラットフォームに効果的にスケーリング可能か？
• RQ3 静的型付けで事前コンパイルされる言語は、ディープラーニングの動的かつ柔軟な要件をどの程度満たせるか？
• RQ4 統一されたテンソル抽象化は、モバイルおよびデータセンター環境への効率的なデプロイを可能にするか？

主な発見

• Swift for TensorFlow は 30 以上のディープラーニングモデルを効果的にサポートしており、広範な適用可能性を示している。
• プラットフォームは、モバイルデバイスおよびデータセンタークラスタの両方で効率的な実行を可能にし、ポータビリティを実証している。
• 言語統合型自動微分により、モデル開発が簡素化されつつも高いパフォーマンスを維持している。
• Swift の事前コンパイルの活用により、多様なハードウェアアクセcelレータでの最適化されたパフォーマンスが実現している。
• 複数のテンソル実装により、実行時におけるメモリ制約とパフォーマンス要件への適応が可能である。
• プラットフォームは実世界のデータセンターおよびモバイルアプリケーションで検証されており、実用的 viability が確認されている。