[論文レビュー] Exploration of Optimized Semantic Segmentation Architectures for edge-Deployment on Drones

Vivek Parmar, Narayani Bhatia+2 more|arXiv (Cornell University)|Jul 6, 2020

Advanced Neural Network Applications参考文献 13被引用数 6

ひとこと要約

本論文は、ドローンにおけるエッジデプロイ用に最適化された意味的セグメンテーションアーキテクチャとして、ImageNetで事前学習された重みを備えたFPN-EfficientNetB3を提案し、DroneDeployデータセットで0.65 mIoUおよび0.71 F1スコアを達成した。TensorRTとFP16精度を用いたハードウェアに配慮したモデル最適化により、InceptionResNetV2ベースのモデルと比較してメモリ使用量を4.1倍削減し、推論遅延を10%低減することで、エッジデバイス上で効率的なリアルタイム処理を実現した。

ABSTRACT

In this paper, we present an analysis on the impact of network parameters for semantic segmentation architectures in context of UAV data processing. We present the analysis on the DroneDeploy Segmentation benchmark. Based on the comparative analysis we identify the optimal network architecture to be FPN-EfficientNetB3 with pretrained encoder backbones based on Imagenet Dataset. The network achieves IoU score of 0.65 and F1-score of 0.71 over the validation dataset. We also compare the various architectures in terms of their memory footprint and inference latency with further exploration of the impact of TensorRT based optimizations. We achieve memory savings of ~4.1x and latency improvement of 10% compared to Model: FPN and Backbone: InceptionResnetV2.

研究の動機と目的

• 制限された計算リソースを備えたUAV（無人航空機）におけるリアルタイムデプロイに最適な正確で効率的な意味的セグメンテーションアーキテクチャを特定すること。
• 多クラスUAVデータセット上で標準的および新規のセグメンテーションモデルをベンチマーク化し、正確性、メモリ容量、推論遅延のトレードオフに焦点を当てる。
• モデル量子化（FP16）およびTensorRT最適化がエッジデプロイにおけるモデル効率性と推論速度に与える影響を評価すること。
• UAVプラットフォームに特化したハードウェア・ソフトウェア共同最適化フレームワークを構築すること。
• 初めてとして、EfficientNetベースのアーキテクチャがリモートセンシングおよびUAVアプリケーションにおいて実用的であり、性能を発揮することを実証すること。

提案手法

• 研究は、ドローンデータセット上で、さまざまなバックボーン（MobileNetV2、InceptionResNetV2、EfficientNetB3）を搭載した複数のセグメンテーションアーキテクチャ（FPN、PSPNet、UNet、LinkNet）を評価した。
• モデルはAdamW最適化手法とコサインスケーリング学習率スケジューラーを用いて学習され、ImageNet事前学習とランダム初期化の性能を比較した。
• トレーニングチップにおけるクラスの代表性を保証するため、300×300および384×384のクロップベースのデータオーグメンテーションを採用した。
• 推論効率は、TensorRT最適化とFP16精度を活用して向上させ、モデルサイズを削減し、エッジハードウェア上の推論を高速化した。
• NVIDIA Jetson NanoおよびRTX 2080 Tiを含む複数のエッジデバイスで、メモリ使用量と推論遅延をプロファイリングした。
• アブレーションスタディにより、エンコーダー微調整、重み初期化、学習率スケジューリングのモデルパフォーマンスへの影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 UAVベースのエッジデプロイにおいて、正確性、メモリ容量、推論遅延のバランスを最良に達成する意味的セグメンテーションアーキテクチャは何か？
• RQ2 ImageNet事前学習は、ランダム初期化と比較して、UAVセグメンテーションタスクにおいてどの程度性能が優れているか？
• RQ3 TensorRTベースの最適化は、エッジデバイス上のセグメンテーションモデルにおいて、メモリ消費量と推論遅延をどの程度低減するか？
• RQ4 異なるバックボーンアーキテクチャ（例：MobileNetV2、InceptionResNetV2、EfficientNetB3）は、UAVセグメンテーションにおけるモデル効率性と正確性にどのように影響を与えるか？
• RQ5 FP16精度と学習率スケジューリングは、モデル収束および推論パフォーマンスにどのような影響を与えるか？

主な発見

• ImageNetで事前学習された重みを備えたFPN-EfficientNetB3モデルは、DroneDeployデータセットで最高の検証mIoU 0.65およびF1スコア0.71を達成した。
• ImageNet事前学習はランダム初期化を著しく上回り、リモートセンシング分野におけるドメイン特化重み初期化に関する仮説に疑問を呈した。
• TensorRT最適化後、FPN-InceptionResNetV2ベースラインと比較して、FPN-EfficientNetB3モデルはメモリ使用量を4.1倍削減し、推論遅延を10%低減した。
• FP16量子化はモデル正確性を維持したまま、顕著なメモリおよび速度の向上を実現し、エッジ最適化推論における有効性を裏付けた。
• InceptionResNetV2ベースのモデルは、EfficientNetB3と比較して4倍のメモリ容量を要し、軽量エッジデプロイには不適切であることが判明した。
• NVIDIA Jetson Nanoは、望ましい遅延とメモリ推定値を備えるため、デプロイに最も適したエッジデバイスとして特定された。