[論文レビュー] YolactEdge: Real-time Instance Segmentation on the Edge (Jetson AGX Xavier: 30 FPS, RTX 2080 Ti: 170 FPS)

Haotian Liu, Rafael A. Rivera Soto+2 more|arXiv (Cornell University)|Dec 22, 2020

Advanced Neural Network Applications参考文献 8被引用数 5

ひとこと要約

YolactEdge はエッジデバイス向けに最適化されたリアルタイムインスタンスセグメンテーションモデルであり、TensorRTの最適化と動画内の時間的冗長性を活用する新規の特徴ワープモジュールを組み合わせることで、Jetson AGX Xavier で最大30.8 FPS、RTX 2080 Ti で172.7 FPS の性能を達成し、MS COCO および YouTube VIS ベンチマークで競争力ある精度を維持している。

ABSTRACT

We propose YolactEdge, the first competitive instance segmentation approach that runs on small edge devices at real-time speeds. Specifically, YolactEdge runs at up to 30.8 FPS on a Jetson AGX Xavier (and 172.7 FPS on an RTX 2080 Ti) with a ResNet-101 backbone on 550x550 resolution images. To achieve this, we make two improvements to the state-of-the-art image-based real-time method YOLACT: (1) TensorRT optimization while carefully trading off speed and accuracy, and (2) a novel feature warping module to exploit temporal redundancy in videos. Experiments on the YouTube VIS and MS COCO datasets demonstrate that YolactEdge produces a 3-5x speed up over existing real-time methods while producing competitive mask and box detection accuracy. We also conduct ablation studies to dissect our design choices and modules. Code and models are available at this https URL

研究の動機と目的

• リソース制限のあるエッジデバイス（例：Jetson AGX Xavier）でリアルタイムインスタンスセグメンテーションを可能にすること。
• 計算能力が限られたエッジハードウェア上で高精度なインスタンスセグメンテーションモデルをリアルタイムにデプロイする課題に対処すること。
• モデル推論の最適化と動画の時間的整合性の活用により、推論遅延を短縮しながら検出精度とマスク品質を損なわないこと。
• 既存のリアルタイムインスタンスセグメンテーション手法と比較して 3-5倍の高速化を達成しつつ、標準ベンチマークで競争力ある精度を維持すること。

提案手法

• YOLACTアーキテクチャに TensorRT 最適化を適用し、エッジおよびハイエンドGPUでの推論を高速化すること。
• 動画シーケンス内の時間的冗長性を活用する新規の特徴ワープモジュールを導入し、フレーム間の重複計算を削減すること。
• TensorRTにおける量子化およびレイヤー単位の最適化を通じて、速度と精度のトレードオフを慎重に調整すること。
• バランスの取れたパフォーマンスと精度を実現するため、550x550解像度の特徴マップを処理する ResNet-101バックボーンを使用すること。
• モデル圧縮とハードウェアに最適化された最適化を活用して、元の YOLACTアーキテクチャをエッジデバイスでの効率的推論に対応させること。

実験結果

リサーチクエスチョン

• RQ1 Jetson AGX Xavier などのエッジデバイスで、妥当な精度を維持しつつリアルタイムインスタンスセグメンテーションを達成できるか？
• RQ2 時間的特徴ワープは、動画推論中の計算負荷低減にどの程度効果的か？
• RQ3 エッジハードウェア上で YOLACT を TensorRT で最適化する際の、速度と精度のトレードオフはいかなるものか？
• RQ4 YolactEdge は既存のリアルタイムインスタンスセグメンテーション手法と比較して、速度と精度の両面で優れているか？

主な発見

• YolactEdge は、550x550解像度の ResNet-101バックボーンを用いて、Jetson AGX Xavier で 30.8 FPS を達成し、エッジハードウェア上でリアルタイム性能を実証した。
• RTX 2080 Ti では 172.7 FPS を達成し、ハイエンドGPUでも優れたパフォーマンスを示した。
• 既存のリアルタイムインスタンスセグメンテーション手法と比較して 3-5倍の高速化を達成しつつ、マスクおよびボックス検出精度を競争力ある水準で維持した。
• 特徴ワープモジュールは、動画シーケンス内の時間的整合性を活用することで、計算量の削減に効果的に寄与した。
• A/ablation 研究により、TensorRT 最適化および特徴ワープモジュールの両方が、速度向上に顕著な貢献をしていることが確認された。