[論文レビュー] Adaptive L2 Regularization in Person Re-Identification

Xingyang Ni, Liang Fang+1 more|arXiv (Cornell University)|Jul 15, 2020

Video Surveillance and Tracking Methods参考文献 35被引用数 6

ひとこと要約

本論文は、人間再識別における適応的L2正則化機構を提案する。正則化係数は、スケールドハードシグモイド関数を用いてバックプロパゲーションにより最適化可能なトレーニング可能なパラメータである。この手法は、大規模なMSMT17データセットにおいて最先端の性能を達成し、ResNet50ベースラインからのmAPを57.7%から59.4%まで向上させた。

ABSTRACT

We introduce an adaptive L2 regularization mechanism in the setting of person re-identification. In the literature, it is common practice to utilize hand-picked regularization factors which remain constant throughout the training procedure. Unlike existing approaches, the regularization factors in our proposed method are updated adaptively through backpropagation. This is achieved by incorporating trainable scalar variables as the regularization factors, which are further fed into a scaled hard sigmoid function. Extensive experiments on the Market-1501, DukeMTMC-reID and MSMT17 datasets validate the effectiveness of our framework. Most notably, we obtain state-of-the-art performance on MSMT17, which is the largest dataset for person re-identification. Source code is publicly available at https://github.com/nixingyang/AdaptiveL2Regularization.

研究の動機と目的

• 深層学習における人間再識別における固定で手動で選択されたL2正則化係数の制限を解消すること。
• トレーニング中に正則化強度を動的に調整することで、モデルの一般化性能を向上させること。
• 層固有のニーズに応じて適応可能な、トレーニング可能で微分可能なL2正則化メカニズムを構築すること。
• 特にMSMT17を含む大規模な人間再識別ベンチマークで最先端の性能を達成すること。

提案手法

• 正則化係数としてトレーニング可能なスカラー変数を導入し、バックプロパゲーション中に更新する。
• 正則化係数を学習可能な範囲に制限するために、スケールドハードシグモイド関数を適用する。
• 適応的正則化を損失関数に、学習可能なL2ペナルティ項として統合する。
• 層タイプ（conv_kernel、conv_bias、bn_gamma、bn_beta、dense_kernel）ごとに正則化係数を分類し、分析に用いる。
• 実験にはResNet50バックボーンを用い、Market-1501、DukeMTMC-reID、MSMT17で評価する。
• すべてのデータセットで性能をさらに向上させるために、再ランク処理を後処理として採用する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な要因を有する適応的L2正則化は、人間再識別モデルの一般化性能を向上させることができるか？
• RQ2 正則化強度の動的調整は、MSMT17のような大規模データセットにおいて性能にどのように影響するか？
• RQ3 異なる層タイプは異なる正則化強度を必要とし、それらを個別に学習可能か？
• RQ4 提案手法は、mAPおよびランク-1精度の観点から、標準的な固定L2正則化を上回るか？
• RQ5 この適応的正則化メカニズムは、人間再識別を越えて他の深層学習タスクへ一般化可能か？

主な発見

• 提案手法は、ResNet50バックボーンを用いてMSMT17データセットでmAPを57.7%から59.4%まで向上させた。
• この手法は、評価された中で最大の規模の人物再識別データセットであるMSMT17で最先端の性能を達成した。
• DukeMTMC-reIDでは、再ランク処理を組み合わせた場合、mAPが90.7%に達し、最先端性能に非常に近い結果を得た。
• conv_biasの正則化係数はゼロに収束しており、バッチ正則化がバイアス項を相殺していることを示している。
• 最終的な正則化係数のヒストグラムは、層ごとに顕著な差異を示しており、層固有の最適化が行われていることを裏付けている。
• 再ランク処理の適用により、Market-1501ではmAPが94.4%、DukeMTMC-reIDでは90.7%、MSMT17では76.7%まで向上した。