[論文レビュー] A Framework of Transfer Learning in Object Detection for Embedded Systems

Ioannis N. Athanasiadis, Panagiotis Mousouliotis+1 more|arXiv (Cornell University)|Nov 12, 2018

Advanced Neural Network Applications参考文献 23被引用数 12

ひとこと要約

本論文は、組み込みシステムにおけるリアルタイム物体検出に適した軽量CNN、SqueezeDet向けの転移学習フレームワークを提示する。GPU最適化されたデータパイプラインにより学習を1.8倍高速化し、自動ハイパーパramータチューニングを可能にした。また、ImageNetからの転移学習が、小規模データセットにおいてmAPを40%以上向上させることを実証したが、共同適応感受性のため、初期層の微調整が必要であることが判明した。

ABSTRACT

Transfer learning is one of the subjects undergoing intense study in the area of machine learning. In object recognition and object detection there are known experiments for the transferability of parameters, but not for neural networks which are suitable for object detection in real time embedded applications, such as the SqueezeDet neural network. We use transfer learning to accelerate the training of SqueezeDet to a new group of classes. Also, experiments are conducted to study the transferability and co-adaptation phenomena introduced by the transfer learning process. To accelerate training, we propose a new implementation of the SqueezeDet training which provides a faster pipeline for data processing and achieves 1.8 times speedup compared to the initial implementation. Finally, we created a mechanism for automatic hyperparameter optimization using an empirical method.

研究の動機と目的

• リアルタイム組み込みアプリケーションにおける、SqueezeDetのような軽量物体検出器を新しい物体クラスに再トレーニングする課題に対処すること。
• CPU上で実行される素のSqueezeDet実装における高い計算コストと遅い学習を克服すること。
• ImageNet、KITTI、PASCAL VOCデータセットからの知識転移におけるSqueezeDetの転移可能性と共同適応性を調査すること。
• 再トレーニングの効率と性能を向上させるために、自動ハイパーパramータ最適化手法を開発すること。
• 動的クラス要件を満たす組み込みシステムにおける物体検出モデルの迅速なデプロイと更新を可能にする再利用可能なフレームワークを構築すること。

提案手法

• データ処理のボトル neck を軽減し、元のCPUベースのバージョンに比べ1.8倍の高速化を達成するために、GPUアクセラレーションを用いてSqueezeDetのトレーニングパイプラインを再実装した。
• GPU実行に適したメモリ集約的処理を並列化することでアンカーマッチングアルゴリズムを最適化し、トレーニングスループットを向上させた。
• AdaLipoと信頼領域アルゴリズムを組み合わせた実証的ハイパーパramータ最適化戦略を適用し、重要なハイパーパramータ（例：グリッドあたりのアンカー数、NMS閾値、学習率）をチューニングした。
• ImageNetで事前学習した重みでSqueezeDetを初期化し、KITTIおよびPASCAL VOCデータセットで微調整することで、転移可能性の実験を実施した。
• 転移学習の有効性と共同適応感受性を評価する主な指標としてmAP（平均平均精度）を用いた。
• パフォーマンスの向上を検証し、計算効率を確保するために、GPUの消費電力とトレーニング時間を測定した。

実験結果

リサーチクエスチョン

• RQ1 PASCAL VOCのような小規模データセットに再トレーニングする際、ImageNetからの転移学習がSqueezeDetのmAPにどの程度向上効果をもたらすか？
• RQ2 KITTIからPASCAL VOCに転移する際、SqueezeDetのレイヤーは共同適応に対してどの程度感受性を示すか、特に脆弱性はどこにあるか？
• RQ3 自動ハイパーパramータ最適化は、ランダムまたは固定のハイパーパramータ設定と比較して、SqueezeDetの再トレーニングにおけるmAPを顕著に向上させられるか？
• RQ4 データパイプラインの最適化が、組み込みに適した物体検出モデルにおけるトレーニング速度とGPU利用率に与える影響は？
• RQ5 ImageNetからKITTIへ、そしてKITTIからPASCAL VOCへ順次転移学習を行うと、深刻な記憶の消失（catastrophic forgetting）が発生するか？その理由は？

主な発見

• データ処理をGPUにオフロードし、CPU-GPU間のデータ転送を最小限に抑えることで、SqueezeDetのトレーニング再実装により1.8倍の高速化を達成した。
• ImageNetからの転移学習により、PASCAL VOCへの再トレーニングでmAPが40%以上向上した。これは強力な正の転移可能性を示している。
• 共同適応性は非常に有害であった：KITTIからPASCAL VOCに転移する際、SqueezeDetの最初の7層を微調整しない限り失敗した。
• AdaLipoと信頼領域法を用いたハイパーパramータ最適化により、mAPはランダム設定時の1.3%から2.8%に向上したが、上昇幅は限定的であり、ハイパーパramータ選定が主なボトル neck ではなかったことが示唆された。
• グリッドが密なため、グリーディなバイナリマッチアンカーマッチングアルゴリズムは元の方法よりも遅かったが、より高い精度を達成した。
• ImageNetからKITTIへ、そしてKITTIからPASCAL VOCへ順次転移学習を行うと、深刻な記憶の消失が発生し失敗した。これは、組み込みシステムにおける段階的ドメインシフトのリスクを強調している。