[論文レビュー] SimpleDet: A Simple and Versatile Distributed Framework for Object Detection and Instance Recognition

Yuntao Chen, Chenxia Han+5 more|arXiv (Cornell University)|Mar 14, 2019

Advanced Neural Network Applications参考文献 17被引用数 15

ひとこと要約

SimpleDet は、MXNet をバックエンドに使用する軽量でオープンソースのオブジェクト検出フレームワークであり、コンsumer レベルのハードウェアでも最新の検出モデルの効率的でスケーラブルな学習を可能にします。最適化されたパラメータ通信、ミックスド・プレシジョン学習、クロスGPUバッチ正則化、メモリ節約技術を活用することで、分散学習においてほぼ線形のスケーリングを達成し、FP16 学習で最大 2.0X の高速化と 30% のメモリ削減を実現しています。

ABSTRACT

Object detection and instance recognition play a central role in many AI applications like autonomous driving, video surveillance and medical image analysis. However, training object detection models on large scale datasets remains computationally expensive and time consuming. This paper presents an efficient and open source object detection framework called SimpleDet which enables the training of state-of-the-art detection models on consumer grade hardware at large scale. SimpleDet supports up-to-date detection models with best practice. SimpleDet also supports distributed training with near linear scaling out of box. Codes, examples and documents of SimpleDet can be found at https://github.com/tusimple/simpledet .

研究の動機と目的

• コンsumer レベルのハードウェア上で大規模オブジェクト検出の高い計算コストと長時間の学習を解決すること。
• 最小限のインfra構成で効率的にスケーリングする分散学習フレームワークを提供すること。
• 純粋な Python 設定システムにより、モデル学習とハイパーパramータチューニングを簡素化すること。
• ミックスド・プレシジョン、クロスGPUバッチ正則化、メモリチェックポイントなど、先進的な学習機能を標準搭載すること。
• 25Gb イーサーネットとコンsumer GPU を含む最小限のハードウェアオーバーヘッドで高性能な学習を可能にすること。

提案手法

• SimpleDet は、パラメータサーバーおよびアラルーレッド通信パラダイムの両方を活用できる、MXNet をディープラーニングバックエンドとして使用して、効率的な分散学習を実現しています。
• 損失スケーリングを用いた FP16 を使用したミックスド・プレシジョン学習を実装し、収束性を維持するとともにメモリ使用量を削減しています。
• より大きなミニバッチサイズ（最大 256）を可能にするために、クロスGPUバッチ正則化（CGBN）を統合しています。
• FP16 学習、インプレース活性化バッチ正則化、レイヤー単位のメモリチェックポイントを組み合わせることで、メモリ節約を実現しています。
• 柔軟なモデルおよび学習ハイパーパramータ管理のため、純粋な Python 設定システムを採用しています。
• デプロイメントと再現性を容易にするために、事前にビルド済みの Singularity および Docker コンテナを提供しています。

実験結果

リサーチクエスチョン

• RQ1 標準の 25Gb イーサーネットを用いたコンsumer レベルのハードウェア上で、分散オブジェクト検出フレームワークがほぼ線形のスケーリングを達成できるか？
• RQ2 モデルの精度を損なわず、メモリ使用量と学習時間を削減するミックスド・プレシジョン学習の有効性はどの程度か？
• RQ3 クロスGPUバッチ正則化により、収束問題を伴わずに大規模なミニバッチサイズで安定した学習が可能か？
• RQ4 チェックポイントやインプレース操作などのメモリ節約技術が、GPU メモリ消費量をどの程度削減できるか？
• RQ5 Detectron や MMDetection、Mask R-CNN Benchmark といった既存のフレームワークと比較して、SimpleDet の学習速度と機能カバレッジはどの程度か？

主な発見

• SimpleDet は、コンsumer レベルの 25Gb イーサーネットのみを用いた 4 ノード GPU クラスタで、ほぼ線形のスケーリング効率を達成し、高い通信効率を示しました。
• FP16 学習を用いることで、FP32 学習と比較して 2.0X の高速化と 30% の GPU メモリ使用量削減が達成され、mAP の性能は同一でした。
• クロスGPUバッチ正則化を活用することで、SimpleDet はミニバッチサイズ 256 での検出器学習に成功し、大規模なスケーリングにおいても安定した収束を実現しました。
• ミックスド・プレシジョン、インプレースバッチ正則化、メモリチェックポイントの組み合わせにより、GPU メモリ使用量が最大 50% 削減され、計算コストの増加はわずかでした。
• SimpleDet は、検出器の主要モデル（例：RetinaNet、Cascade R-CNN、TridentNet）をすべてサポートし、分散学習やミックスド・プレシジョンなど先進的な学習機能を標準搭載しており、他フレームワークを上回る機能カバレッジを実現しました。
• 学習速度において、ResNet-50-C4 を用いた Faster R-CNN で 1 秒あたり 37 枚の処理を達成し、Detectron や MMDetection を上回り、Mask R-CNN Benchmark と同等またはそれを上回りました。