[論文レビュー] Split Computing for Complex Object Detectors: Challenges and Preliminary Results

Yoshitomo Matsubara, Marco Levorato|arXiv (Cornell University)|Jul 27, 2020

Advanced Neural Network Applications参考文献 27被引用数 5

ひとこと要約

本論文では、Faster R-CNN および Mask R-CNN の最初の層に早期のボトルネックを導入することで、複雑な R-CNN オブジェクト検出器向けに新しい分割計算アプローチを提案する。検出精度を保持するためにヘッドネットワーク distillation を用いることで、エッジコンピューティングと比較してオフロードされたテンソルサイズを最大93.4％まで削減でき、mAP の測定可能なトレードオフが、オブジェクト検出の分割推論における重要な性能ボトルネックを明らかにする。

ABSTRACT

Following the trends of mobile and edge computing for DNN models, an intermediate option, split computing, has been attracting attentions from the research community. Previous studies empirically showed that while mobile and edge computing often would be the best options in terms of total inference time, there are some scenarios where split computing methods can achieve shorter inference time. All the proposed split computing approaches, however, focus on image classification tasks, and most are assessed with small datasets that are far from the practical scenarios. In this paper, we discuss the challenges in developing split computing methods for powerful R-CNN object detectors trained on a large dataset, COCO 2017. We extensively analyze the object detectors in terms of layer-wise tensor size and model size, and show that naive split computing methods would not reduce inference time. To the best of our knowledge, this is the first study to inject small bottlenecks to such object detectors and unveil the potential of a split computing approach. The source code and trained models' weights used in this study are available at https://github.com/yoshitomo-matsubara/hnd-ghnd-object-detectors .

研究の動機と目的

• Faster R-CNN や Mask R-CNN のような複雑な2段階オブジェクト検出器に対する、有効な分割計算戦略の欠如に取り組むこと。
• COCO 2017 のような大規模データセットで訓練された強力な検出器を分割する際の課題を分析すること。
• 分割計算シナリオにおけるオフロードされたテンソルサイズと検出性能（mAP）のトレードオフを評価すること。
• 通信オーバーヘッドを減らすために、尾部モデルを変更せずに小さな初期ボトルネックを挿入する手法を提案・検証すること。
• 今後の分割DNN研究のための再現可能性を確保するため、トレーニング済みモデルとコードを公開すること。

提案手法

• 著者らは、ResNet-50 をベースとする Faster R-CNN および Mask R-CNN の最初の層（Layer 1）を再設計し、畳み込み層のプルーニングと再構成によって C 出力チャネルを持つボトルネックを生成する。
• ヘッドネットワーク distillation 技術を適用し、元の検出器を教師、変更された検出器を学生として、ヘッド部の特徴表現を保持する。
• ボトルネックを最初のモデル分岐点の直前に配置することで、エッジに送信されるテンソル数を最小限に抑え、複数テンソル送信のオーバーヘッドを回避する。
• ボトルネックチャネル数（C = 3, 6, 9, 12, 15）を系統的に変化させ、テンソルサイズと検出性能のトレードオフを調査する。
• COCO 2017 の検証スプリットを用いて微調整を行い、ボックスおよびマスクの mAP を測定する。
• ソースコードとトレーニング済み重みを公開することで、再現性を確保し、今後の研究を可能にする。

実験結果

リサーチクエスチョン

• RQ1 Faster R-CNN や Mask R-CNN のような複雑な2段階オブジェクト検出器に、分割計算を効果的に適用できるか。これらのモデルには自然な分割ポイントが欠如している。
• RQ2 最初の層に早期ボトルネックを導入することでオフロードテンソルサイズを小さくした場合、COCO 2017 における検出性能（mAP）にどのような影響を与えるか。
• RQ3 オブジェクト検出器の分割推論において、通信コスト（テンソルサイズ）と検出精度の最適なトレードオフは何か。
• RQ4 なぜ、モバイルやエッジコンピューティングと比較して、強力なオブジェクト検出器ではナーブな分割戦略が推論時間を短縮できないのか。
• RQ5 オブジェクト検出器の最初の層に積極的なボトルネックを挿入した場合、知識蒸留が性能をどれほど保持できるか。

主な発見

• 提案されたボトルネックベースの分割計算手法により、エッジコンピューティングで元の入力テンソルを送信する場合と比較して、オフロードされたテンソルサイズが80.3％から93.4％まで削減された。
• この手法は測定可能な性能のトレードオフを示した：ボトルネックサイズが小さくなる（C = 3 から 15）ほど、ボックスおよびマスクの mAP が低下し、特にチャネル数が最も少ない場合に最大の低下が観察された。
• 元のモデルの mAP が上限であり、C=15 の場合、元の mAP の約90％を達成しており、圧縮にもかかわらず高い性能維持が示された。
• 本研究では、ナーブな分割戦略が推論時間を改善できない理由が明らかになった。これは、後段の層で複雑な分岐構造と高いテンソルボリュームが原因であり、早期のボトルネックが不可欠であることが示された。
• 結果から、オブジェクト検出器向けに効果的な分割計算を実現するには、アーキテクチャの再設計と、蒸留のような高度な訓練技術が必要であり、単なるレイヤー単位の分割だけでは不十分であることがわかった。
• 著者らは、今後の研究でさらに圧縮技術（例：量子化）を組み合わせることで、さらなる改善が可能であることを確認した。