[論文レビュー] DepthNet Nano: A Highly Compact Self-Normalizing Neural Network for Monocular Depth Estimation

Linda Wang, Mahmoud Famouri+1 more|arXiv (Cornell University)|Apr 17, 2020

Advanced Vision and Imaging参考文献 19被引用数 7

ひとこと要約

DepthNet Nano は、エッジデプロイ用にマクロおよびマイクロアーキテクチャを最適化する人間と機械の協働戦略により設計された、非常にコンactな自己正規化畳み込みニューラルネットワークであり、単眼深度推定に適している。NYU-Depth V2 および KITTI で最先端の精度を達成しているが、先行研究と比較して 24 倍小さく、MAC 操作数も 42 倍少ない。Jetson AGX Xavier で 30W の電力予算下で 14 FPS および 1 秒あたり 0.46 枚以上の画像/ワットのエネルギー効率を達成している。

ABSTRACT

Depth estimation is an active area of research in the field of computer vision, and has garnered significant interest due to its rising demand in a large number of applications ranging from robotics and unmanned aerial vehicles to autonomous vehicles. A particularly challenging problem in this area is monocular depth estimation, where the goal is to infer depth from a single image. An effective strategy that has shown considerable promise in recent years for tackling this problem is the utilization of deep convolutional neural networks. Despite these successes, the memory and computational requirements of such networks have made widespread deployment in embedded scenarios very challenging. In this study, we introduce DepthNet Nano, a highly compact self normalizing network for monocular depth estimation designed using a human machine collaborative design strategy, where principled network design prototyping based on encoder-decoder design principles are coupled with machine-driven design exploration. The result is a compact deep neural network with highly customized macroarchitecture and microarchitecture designs, as well as self-normalizing characteristics, that are highly tailored for the task of embedded depth estimation. The proposed DepthNet Nano possesses a highly efficient network architecture (e.g., 24X smaller and 42X fewer MAC operations than Alhashim et al. on KITTI), while still achieving comparable performance with state-of-the-art networks on the NYU-Depth V2 and KITTI datasets. Furthermore, experiments on inference speed and energy efficiency on a Jetson AGX Xavier embedded module further illustrate the efficacy of DepthNet Nano at different resolutions and power budgets (e.g., ~14 FPS and >0.46 images/sec/watt at 384 X 1280 at a 30W power budget on KITTI).

研究の動機と目的

• ドローンや自動運転車両などのリソース制約のある埋め込みシステムに、大規模で計算コストの高い単眼深度推定ネットワークをデプロイする課題に対処すること。
• モデルサイズと推論コストを大幅に削減しながらも、競争力のある深度推定精度を維持する高効率なディープニューラルネットワークを開発すること。
• 原理的で洗練されたネットワーク設計と機械学習によるアーキテクチャ探索を組み合わせた人間と機械の協働設計戦略を活用し、最適なエッジデプロイを実現すること。
• 深度推定の品質を損なわず、埋め込みハードウェア上で高い推論速度とエネルギー効率を達成すること。
• 最小限のハイパーパramータチューニングで安定した学習と頑健なパフォーマンスを実現できる自己正規化ネットワークアーキテクチャを構築すること。

提案手法

• 人間主導の原理的ネットワーク設計と機械主導のアーキテクチャ探索を統合した人間と機械の協働設計戦略を採用し、マクロおよびマイクロアーキテクチャを同時に最適化した。
• エンコーダ・デコーダアーキテクチャの原則に基づき、埋め込み深度推定に特化したカスタマイズされたモジュールを設計した。
• 学習の安定化と一般化性能の向上のため、自己正規化要素（例：スケーリング指数線形ユニットおよびスキップ接続）を統合した。
• モデルサイズと計算コストに関する制約の下で反復的な探索を実施し、パrameter数と MAC 操作数を最小限に抑えるネットワークアーキテクチャを最適化した。
• 実世界のパフォーマンスを評価するため、推論プラットフォームとして Jetson AGX Xavier を採用し、さまざまな電力予算（15W および 30W）での性能を評価した。
• ハイブリッド設計パイプラインを採用：まず人間の専門家がアーキテクチャの原則と制約を定義し、次に神経アーキテクチャ探索（NAS）エンジンがこれらの制約の下で構成を探索し、最適な設計を同定した。

実験結果

リサーチクエスチョン

• RQ1 人間と機械の協働設計戦略により、計算コストを著しく削減したにもかかわらず、競争力のある深度推定精度を達成するコンパクトで自己正規化ニューラルネットワークを構築できるか？
• RQ2 提案された DepthNet Nano は、埋め込みハードウェア上で最先端のネットワークと比較して、推論速度とエネルギー効率の面でどのように差をつけることができるか？
• RQ3 標準ベンチマークで深度推定性能を損なわず、アーキテクチャの効率性をどの程度向上させられるか？
• RQ4 DepthNet Nano の自己正規化特性は、リソースが限られた環境でも安定した学習と頑健なパフォーマンスを実現するのに寄与するか？
• RQ5 従来モデルと比較して MAC 操作数を著しく削減しているにもかかわらず、DepthNet Nano は視覚的に優れた深度マップを維持できるか？

主な発見

• KITTI データセットにおいて、DepthNet Nano は 42 倍少ない MAC 操作数を用いても、Alhashim 他 [2]（δ₁ = 0.886）と同等の δ₁ = 0.894 を達成した。
• NYU-Depth V2 データセットでは、DepthNet Nano は δ₁ = 0.816 を達成したが、Alhashim 他 [2]（δ₁ = 0.846）よりわずかに低いが、MAC 操作数は 10 倍少ない。
• Jetson AGX Xavier で 30W の電力予算下で、DepthNet Nano は KITTI で 13.92 FPS および 0.464 枚/秒/ワットのエネルギー効率を達成し、Alhashim 他 [2] より 4.6 倍高い速度とエネルギー効率を実現した。
• NYU-Depth V2 では、30W で 15.8 FPS および 0.527 枚/秒/ワットのエネルギー効率を達成し、Alhashim 他 [2] より 2.3 倍高い速度とエネルギー効率を実現した。
• 定性的な結果から、DepthNet Nano は最先端モデルと同等の視覚的品質の深度マップを生成しており、実際のラベルの不一致にもかかわらず、鏡の反射の整合性が向上していた。
• KITTI において、DepthNet Nano は Alhashim 他 [2] より 24 倍小さく、MAC 操作数も 42 倍少ないが、精度の大幅な損失なしに顕著な効率性の向上を実現した。