[論文レビュー] Challenges and Obstacles Towards Deploying Deep Learning Models on Mobile Devices

Hamid Tabani, Ajay Balasubramaniam+2 more|arXiv (Cornell University)|May 6, 2021

Advanced Neural Network Applications参考文献 4被引用数 8

ひとこと要約

この論文は、フレームワークとハードウェアの非互換性、特にサポートされていないレイヤーの問題に起因する、モバイルおよびエッジデバイスへのディープラーニングモデルの展開における主な課題を特定する。4つの実用的解決策—レイヤー置換、モデル微調整、後処理による適応、カスタムレイヤー実装—を提案し、実証的検証により変換後の精度損失を最小限に抑えることを示した。これにより、異種プラットフォーム間でのモデルの広範なポータビリティが可能になる。

ABSTRACT

From computer vision and speech recognition to forecasting trajectories in autonomous vehicles, deep learning approaches are at the forefront of so many domains. Deep learning models are developed using plethora of high-level, generic frameworks and libraries. Running those models on the mobile devices require hardware-aware optimizations and in most cases converting the models to other formats or using a third-party framework. In reality, most of the developed models need to undergo a process of conversion, adaptation, and, in some cases, full retraining to match the requirements and features of the framework that is deploying the model on the target platform. Variety of hardware platforms with heterogeneous computing elements, from wearable devices to high-performance GPU clusters are used to run deep learning models. In this paper, we present the existing challenges, obstacles, and practical solutions towards deploying deep learning models on mobile devices.

研究の動機と目的

• モバイルおよびエッジデバイスへのディープラーニングモデルの展開における主な技術的障壁を特定・分析すること。
• トレーニング済みモデル、ディープラーニングフレームワーク、ターゲットハードウェアプラットフォームの間の非互換性問題を検討すること。
• 異種コンピューティング環境におけるモデル変換および適応のための実用的で産業界で検証済みのソリューションを提案・評価すること。
• フレームワークおよびハードウェアのサポートが限られたモバイルプラットフォームへのモデル展開のための実行可能なガイドラインを提供すること。

提案手法

• レイヤー非互換性と必要な適応ステップに基づいて、モデル展開の課題を4つの明確なシナリオに分類すること。
• 再トレーニングを必要とせずに、同等の演算（例：負の定数を用いたAddによるSubtractの置換）を用いたレイヤー置換の実装。
• アーキテクチャの変更（例：ConvTransposeをConv、Reshape、Transposeのシーケンスに置換）の後、モデルの微調整を実施すること。
• 非対応の末尾レイヤー（例：Softmax）をモデルグラフから外部計算に移譲するための後処理技術の適用。
• 標準的な置換が不可能な場合に、ソースおよびターゲットフレームワークの両方でカスタムレイヤーを実装し、フレームワーク間の互換性を確保すること。
• 実世界のモデル変換を通じたソリューションの検証を行い、多様なハードウェアプラットフォームにおける精度保持率とパフォーマンスを測定すること。

実験結果

リサーチクエスチョン

• RQ1 事前トレーニング済みディープラーニングモデルをモバイルおよびエッジデバイスに展開する際の非互換性の主な原因は何か？
• RQ2 モデル精度の著しい損失を伴わずに、非対応レイヤーを効果的に置換または適応する方法は何か？
• RQ3 モデルの微調整が必要となる状況と、後処理またはレイヤー置換で十分な状況はそれぞれどのような場合か？
• RQ4 展開時に、カスタムレイヤーの実装とモデルアーキテクチャの変更の間にはどのようなトレードオフがあるか？
• RQ5 実用的な変換戦略は、異種モバイルハードウェアプラットフォーム間でモデルパフォーマンスをどれほど効果的に維持できるか？

主な発見

• 同等の演算（例：Subtractの置換に負の重みを用いたAdd）によるレイヤー置換によるモデル変換は、再トレーニングを要せず、モデル精度を保持する。
• ConvTransposeなどの非対応レイヤーを、Conv、Reshape、Transposeのシーケンスに再構築し、微調整を経て展開することで、ベースラインモデルに近い精度で成功裏に展開が可能になる。
• 複数の出力が得られる場合、非対応の末尾レイヤー（例：Softmax）の後処理は実現可能であり、モデルの変更を最小限に抑えることができる。
• 他の手法が非効率または不可能な場合、ソースおよびターゲットフレームワークの両方でカスタムレイヤーを実装することは、代替手段として有効であるが、コストがかかる。
• 提案されたソリューションは、研究用モデルと生産環境でのモバイルおよびエッジデバイスへの展開の間のギャップを効果的に埋め、パフォーマンスの低下を最小限に抑える。