[論文レビュー] Ivy: Templated Deep Learning for Inter-Framework Portability

Daniel Lenton, Fabio Pardo+3 more|arXiv (Cornell University)|Feb 4, 2021

Advanced Neural Network Applications参考文献 22被引用数 6

ひとこと要約

Ivyは、TensorFlow、PyTorch、Jax、MXNet、NumPyの各フレームワークのコア演算を抽象化することで、フレームワークに依存しないコードを可能にするテンプレート化されたディープラーニングフレームワークです。これにより、1%未満のランタイムオーバーヘッドでポータブルで高水準な関数を記述でき、APIの一貫性によりフレームワーク間の移行を可能にし、現在および将来のフレームワークで再利用可能な長期間利用可能なライブラリの構築を可能にします。

ABSTRACT

We introduce Ivy, a templated Deep Learning (DL) framework which abstracts existing DL frameworks. Ivy unifies the core functions of these frameworks to exhibit consistent call signatures, syntax and input-output behaviour. New high-level framework-agnostic functions and classes, which are usable alongside framework-specific code, can then be implemented as compositions of the unified low-level Ivy functions. Ivy currently supports TensorFlow, PyTorch, MXNet, Jax and NumPy. We also release four pure-Ivy libraries for mechanics, 3D vision, robotics, and differentiable environments. Through our evaluations, we show that Ivy can significantly reduce lines of code with a runtime overhead of less than 1% in most cases. We welcome developers to join the Ivy community by writing their own functions, layers and libraries in Ivy, maximizing their audience and helping to accelerate DL research through inter-framework codebases. More information can be found at https://ivy-dl.org.

研究の動機と目的

• ディープラーニングフレームワーク間の相互運用性の欠如が、コードの再利用を妨げ、保守コストを増加させることへの対処。
• 開発者が複数のディープラーニングフレームワークでシームレスに動作する高水準なフレームワークに依存しない関数を記述できるようにすること。
• 既存のフレームワーク間でコア演算を統一APIに抽象化することで、コードの重複を削減し、ポータビリティを向上させること。
• 現在および将来のディープラーニングフレームワークで長期間利用可能な「生涯」ライブラリの作成を可能にすること。
• パラメータフリーのドメイン固有関数をエンドツーエンドの微分可能計算グラフに統合できるようにすることで、ハイブリッド微分可能プログラミングを支援すること。

提案手法

• Ivyは、TensorFlow、PyTorch、Jax、MXNet、NumPyの各フレームワークのコア関数APIを、一貫した呼び出しシグネチャ、構文、入出力動作を持つ統一インターフェースに抽象化する。
• 低水準な統一Ivy操作を用いて高水準なフレームワークに依存しない関数を構成することで、バックエンド間でのポータビリティを保証する。
• Ivyはエージャー実行モードとコンパイル済み実行モードの両方をサポートし、実行時間の比較によるオーバーヘッドを測定する。
• 各フレームワークのネイティブ演算を共通のIvyインターフェースにマッピングするバックエンド抽象化レイヤーを採用し、実行効率を保持する。
• 純粋なIvyライブラリ（力学、3次元ビジョン、ロボティクス、微分可能環境）の4つが、実用的ユースケースとフレームワーク間の相互運用性を示している。
• ランタイムオーバーヘッドは、エージャーモードでtime.perf_counter()を用いて測定され、コンパイルモードへの外挿を実施して相対的なパフォーマンス影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 複数の主要フレームワークで一貫した振る舞いを維持しつつパフォーマンスを保った統一ディープラーニングAPIを構築できるか？
• RQ2 Ivyはどれほどコードの重複を削減し、ディープラーニングフレームワーク間でのポータビリティを向上させるか？
• RQ3 Ivyを使用した際のランタイムオーバーヘッドは、ネイティブフレームワーク実装と比較してどの程度か？
• RQ4 パラメータフリーのドメイン固有関数を微分可能計算グラフに統合できるようにすることで、Ivyはハイブリッド微分可能プログラミングを効果的にサポートできるか？
• RQ5 3次元ビジョンやロボティクスなどの多様な研究分野において、Ivyは最小限のパフォーマンス低下でスケーリングできるか？

主な発見

• Ivyはほとんどのケースで1%未満のランタイムオーバーヘッドを達成しており、エージャーモードではフレームワークおよびライブラリ全体で平均1.1%、コンパイルモードでは0.1%のオーバーヘッドを示している。
• ビジョンライブラリは、多次元サポートを伴うgatherやscatterといった複雑な演算を頻繁に使用するため、最も高いオーバーヘッド（コンパイルモードで平均1.8%）を示している。
• ランタイム測定結果から、Ivyの相対的パフォーマンスオーバーヘッドは、TensorFlow、PyTorch、Jax、MXNet、NumPyを含むすべての対応フレームワークで最小限かつ一貫していることが判明した。
• フレームワーク間のシームレスな相互運用性が実現されており、1つのIvy関数が変更なしに任意の対応バックエンドで直接使用可能である。
• Ivyは、ドメイン固有関数（例：ビジョンライブラリからのもの）を手動で設計し、任意のフレームワークでエンドツーエンドの微分可能モデルに統合できるようにすることで、ハイブリッド微分可能プログラミングを支援する。
• Ivyは、現在および将来のディープラーニングフレームワークで長期間利用可能なライブラリの作成を可能にし、長期的な保守コストを削減する。