[論文レビュー] Fast and Accurate Single-Image Depth Estimation on Mobile Devices, Mobile AI 2021 Challenge: Report

Andrey Ignatov, Grigory Malivenko+36 more|arXiv (Cornell University)|May 17, 2021

Advanced Vision and Imaging参考文献 67被引用数 13

ひとこと要約

本論文は、モバイルデバイス上でリアルタイム推論を実現することを目的とした、1枚の画像からの深度推定を対象とするMobile AI 2021チャレンジを提示する。本チャレンジでは、ZEDステレオカメラを用いて収集された大規模なRGB-深度データセットを導入し、Raspberry Pi 4上で最大10 FPSを達成する効率的なTensorFlow Lite互換モデルの開発が促された。参加者は、リソース制限のあるハードウェア上での実用的で高精度な深度推定の実装を実証した。

ABSTRACT

Depth estimation is an important computer vision problem with many practical applications to mobile devices. While many solutions have been proposed for this task, they are usually very computationally expensive and thus are not applicable for on-device inference. To address this problem, we introduce the first Mobile AI challenge, where the target is to develop an end-to-end deep learning-based depth estimation solutions that can demonstrate a nearly real-time performance on smartphones and IoT platforms. For this, the participants were provided with a new large-scale dataset containing RGB-depth image pairs obtained with a dedicated stereo ZED camera producing high-resolution depth maps for objects located at up to 50 meters. The runtime of all models was evaluated on the popular Raspberry Pi 4 platform with a mobile ARM-based Broadcom chipset. The proposed solutions can generate VGA resolution depth maps at up to 10 FPS on the Raspberry Pi 4 while achieving high fidelity results, and are compatible with any Android or Linux-based mobile devices. A detailed description of all models developed in the challenge is provided in this paper.

研究の動機と目的

• モバイルおよびIoTプラットフォームにおけるデバイス内推論に適した、正確かつ効率的なエンドツーエンドのディープラーニングベースの深度推定モデルの開発。
• 高解像度の深度マップを最大50メートルまでカバーする、屋外で収集された大規模な新規データセットの導入により、モバイル互換性のある深度推定のギャップを埋める。
• デスクトップGPUではなく、実際の低消費電力ハードウェア（Raspberry Pi 4）を用いてモデルを評価することで、実用的な効率性とリアルタイム性能を保証する。
• 限られたRAMや一般的なディープラーニング演算子に対する非効率なサポートといったモバイル固有の制約を考慮し、モデルの忠実度と推論速度のバランスを最適化する。
• すべてのモデルがTensorFlow LiteおよびAndroid Neural Networks API (NNAPI) もしくはカスタムデリゲートと互換性を持つようにすることで、デプロイの移植性を促進する。

提案手法

• 参加者は、ZED 3Dステレオカメラを用いて収集された8,000組のRGB-深度画像ペアから構成される新規データセットを基にモデルを学習した。このデータセットは、最大50メートルの距離にまで及ぶ高解像度の深度マップを提供する。
• すべてのモデルは、ARMプロセッサ搭載のBroadcomチップセットを搭載したRaspberry Pi 4で評価され、モバイルハードウェア制約下でのリアルタイム性能が保証された。
• コアアーキテクチャには、変更を加えたU-Net、MobileNetV3Small、ResNetベースのBTS、およびアテンション強化型エンコーダーが含まれ、量子化とプルーニングを用いてモバイル推論に適応された。
• モデル学習には、深度マップの忠実度とエッジの一貫性を向上させるために、L1損失、勾配L1損失、およびSSIM損失の組み合わせが用いられた。
• 知識蒸留、低ビット幅量子化、ハードウェアに配慮したニューラルアーキテクチャ探索といった技術を活用して、効率性が向上した。
• 最終的なモデルはTensorFlow Liteにエクスポートされ、NNAPI、GPU、Hexagon、またはカスタムデリゲートを用いてAndroidおよびLinuxデバイスにおけるクロスプラットフォームデプロイを高速化した。

実験結果

リサーチクエスチョン

• RQ1 モバイルおよび組み込みデバイス上でリアルタイムに動作するモデルを用いて、正確な1枚の画像からの深度推定を達成できるか？
• RQ2 Raspberry Pi 4におけるモデルのパフォーマンスは、標準的なデスクトップベンチマークと比較して、遅延および精度の面でどのように異なるか？
• RQ3 モデル圧縮とハードウェアに配慮した設計によって、深度推定の品質を損なわずに推論速度をどの程度向上できるか？
• RQ4 モバイルNPUおよびARM CPU上で深度推定をデプロイするにあたり、最も効果的なモデルアーキテクチャと最適化戦略は何か？
• RQ5 TensorFlow Liteのようなオープンフレームワークを用いて、標準化され、移植性があり、効率的な深度推定パイプラインをモバイルAIアプリケーションに確立できるか？

主な発見

• 最良のパフォーマンスを示したモデルは、Raspberry Pi 4上で最大10 FPSを達成し、高忠実度のVGA解像度の深度マップを生成した。
• L1損失、勾配L1損失、SSIM損失を用いて学習されたモデルは、ベースライン手法と比較してエッジの一貫性と視覚的質が向上した。
• 知識蒸留およびモデル蒸留技術を用いることで、モデルサイズと推論時間は顕著に削減されたが、精度は維持された。
• ハードシグモイドおよびLeaky ReLU活性化関数の使用により、性能を劣化させることなく、モバイルハードウェア上の推論速度が向上した。
• すべての提出モデルがTensorFlow Liteを用いてモバイルプラットフォームに正常にデプロイされ、NNAPIまたはカスタムデリゲートを介して加速された。
• 本チャレンジは、ターゲットとなるモデル圧縮とハードウェアに配慮した設計を用いることで、最先端の深度推定がモバイルデプロイに効果的に適応可能であることを実証した。