[論文レビュー] FastONN -- Python based open-source GPU implementation for Operational Neural Networks

Junaid Malik, Serkan Kıranyaz+1 more|arXiv (Cornell University)|Jun 3, 2020

Model Reduction and Neural Networks参考文献 7被引用数 24

ひとこと要約

FastONN は、操作ニューラルネットワーク（ONNs）の学習を目的とした、PythonベースでオープンソースのGPUライブラリであり、効率的で柔軟かつ微分可能な計算を可能にするために、操作ニューロンのベクトル化された定式化を導入している。このライブラリは、バックプロパゲーションに自動的逆モード微分を活用し、カスタマイズ可能な演算子セットと勾配フローをサポートしており、パフォーマンス追跡、チェックポイント作成、メトリクス監視の補助モジュールも備え、GPUハードウェア上でのONN学習を顕著に高速化している。

ABSTRACT

Operational Neural Networks (ONNs) have recently been proposed as a special class of artificial neural networks for grid structured data. They enable heterogenous non-linear operations to generalize the widely adopted convolution-based neuron model. This work introduces a fast GPU-enabled library for training operational neural networks, FastONN, which is based on a novel vectorized formulation of the operational neurons. Leveraging on automatic reverse-mode differentiation for backpropagation, FastONN enables increased flexibility with the incorporation of new operator sets and customized gradient flows. Additionally, bundled auxiliary modules offer interfaces for performance tracking and checkpointing across different data partitions and customized metrics.

研究の動機と目的

• 操作ニューラルネットワーク（ONNs）のための効率的で拡張可能かつGPUアクセラレートされた学習フレームワークの不足を解消すること。
• 微分可能なニューラルネットワークフレームワーク内に、多様な非線形演算子を柔軟に統合できること。
• 多様なONNアプリケーションに対応するため、カスタマイズ可能な勾配フローと演算子セットをサポートすること。
• 学習中のパフォーマンス追跡、チェックポイント作成、メトリクス監視のためのモジュラーなツールを提供すること。
• GPU最適化されたベクトル化計算と自動微分を通じて、ONN学習を高速化すること。

提案手法

• 効率的なGPU計算を可能にするために、操作ニューロンの新規なベクトル化定式化を導入すること。
• ONNsにおけるエンドツーエンドのバックプロパゲーションを実現するため、自動的逆モード微分を採用すること。
• プラグイン可能な演算子セットとカスタム勾配フローをサポートするためのモジュラーなライブラリアーキテクチャを設計すること。
• 既存のディープラーニングワークフローとのシームレスな統合を実現するため、PyTorchスタイルの計算グラフ構築を採用すること。
• ログ記録、データパーティション across のチェックポイント作成、カスタムメトリクス計算のための補助モジュールをバンドルすること。
• CUDA対応のテンソル演算を用いたGPUアクセラレーションにより、パフォーマンスを最適化すること。

実験結果

リサーチクエスチョン

• RQ1 操作ニューラルネットワークは、どのようにGPUアクセラレーションを活用して効率的に学習できるか？
• RQ2 ベクトル化・微分可能な定式化が、ONN学習の速度と柔軟性に与える影響は何か？
• RQ3 モジュラーでオープンソースのライブラリは、ONNsにおける多様な演算子セットとカスタム勾配フローをサポートできるか？
• RQ4 パフォーマンス追跡とチェックポイントの統合は、学習の安定性とスケーラビリティをどのように向上させるか？
• RQ5 自動微分は、複雑なONNレイヤーの実装をどの程度簡素化できるか？

主な発見

• FastONN は、操作ニューロンのGPUアクセラレートされたベクトル化計算により、ONN学習の顕著な高速化を実現している。
• 自動的逆モード微分を介して、新しい演算子セットとカスタム勾配フローの柔軟な統合が可能である。
• パフォーマンス追跡、チェックポイント作成、カスタムメトリクスの補助モジュールにより、学習の再現性とスケーラビリティが向上している。
• ベクトル化定式化により、GPUハードウェア上での計算オーバーヘッドが低減され、メモリ効率が向上している。
• オープンソースの性質とPythonベースの設計により、拡張性が高く、コミュニティの貢献が促進されている。
• 従来のディープラーニングワークフロー、特に自動微分に依存するものとの高い互換性を示している。