[論文レビュー] Backbone Can Not be Trained at Once: Rolling Back to Pre-trained Network for Person Re-Identification

Youngmin Ro, Jongwon Choi+4 more|arXiv (Cornell University)|Jan 18, 2019

Video Surveillance and Tracking Methods参考文献 43被引用数 5

ひとこと要約

本論文は、低レベル層における勾配消失を解消するために、高レベル層の重みを定期的に事前学習済みの値に戻すことで、より深くかつ効果的な学習を可能にする、人物再識別（ReID）のための新しいファインチューニング戦略を提案する。この手法は、ポーズ推定やセグメンテーションなどの追加モジュールを一切使用せずに、Market-1501およびDukeMTMCで最先端の性能を達成する。

ABSTRACT

In person re-identification (ReID) task, because of its shortage of trainable dataset, it is common to utilize fine-tuning method using a classification network pre-trained on a large dataset. However, it is relatively difficult to sufficiently fine-tune the low-level layers of the network due to the gradient vanishing problem. In this work, we propose a novel fine-tuning strategy that allows low-level layers to be sufficiently trained by rolling back the weights of high-level layers to their initial pre-trained weights. Our strategy alleviates the problem of gradient vanishing in low-level layers and robustly trains the low-level layers to fit the ReID dataset, thereby increasing the performance of ReID tasks. The improved performance of the proposed strategy is validated via several experiments. Furthermore, without any add-ons such as pose estimation or segmentation, our strategy exhibits state-of-the-art performance using only vanilla deep convolutional neural network architecture.

研究の動機と目的

• 事前学習済みネットワークの低レベル層における勾配消失に起因する収束不良の課題に対処すること。
• 低レベルフィルタのより効果的な学習を可能にすることで、人物再識別における特徴の識別性を向上させること。
• ポーズ推定器やセグメンテーションマスクなどの外部モジュールを追加せずに、事前学習バックボーンの性能を向上させること。
• 細粒度画像分類への応用を通じて、本手法の汎用性を検証すること。

提案手法

• 訓練の停滞が検出された際に、高レベル層の重みを事前学習済みの値に戻すローリングバックファインチューニング戦略を導入する。
• 繰り返しのファインチューニングサイクルを用い、高レベル層の重みを定期的に復元することで、低レベル層への勾配フローを再活性化する。
• 2段階の訓練スケジュールを採用：初期ファインチューニングの後、高レベル層重みのロールバックを繰り返すファインチューニングサイクルを実施する。
• 訓練損失とmAPのモニタリングにより、早期収束を検出し、ロールバック機構をトリガーする。
• エンドツーエンドのバックプロパゲーションを維持しつつ、高レベル層の重みを特定的に復元することで、深層層における学習の再活性化を実現する。
• アーキテクチャ的・損失関数的変更なしに、標準のResNetバックボーンと標準のクロスエントロピー損失を用いて本手法を実装する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みネットワークの低レベル層における勾配消失は、ReIDファインチューニング中に緩和可能か？
• RQ2 高レベル層の重みを定期的にロールバックすることで、ReIDモデルの一般化性能が向上するか？
• RQ3 ポーズ推定やアテンションマスクなどの追加モジュールを備えた複雑なモデルを上回る、シンプルで即挿し可能な戦略は可能か？
• RQ4 標準的なファインチューニングおよびFCウォームアップと比較して、本手法は収束性とmAPの点で優れているか？

主な発見

• ローリングバック戦略により、ResNet-50を用いてMarket-1501（mAP 77.0%）およびDukeMTMC（mAP 66.6%）で顕著なmAP向上が達成され、追加モジュールを備えた最先端手法を上回る。
• Market-1501では、ResNet-34を用いて75.0%のmAP、ResNet-101を用いて79.9%のmAPを達成し、バックボーンの深さに応じたスケーラビリティを示した。
• SVDNet、HAP2S_P、PSEなどの最先端手法と比較して、追加コンponentsなしにMarket-1501でmAPが7ポイント以上上回った。
• 高い訓練損失を示すにもかかわらず、FCウォームアップより優れた一般化性能を示しており、本手法の優位性を裏付けた。
• 最後の畳み込み層からの特徴マップでは、標準的なファインチューニングと比較して、本手法がより識別性の高いフォアグラウンド注目を示した。
• 本手法はReIDにとどまらず、細粒度分類タスクにおいても性能向上を示し、視覚タスクにおける広範な適用可能性を確認した。