[논문 리뷰] Adaptive L2 Regularization in Person Re-Identification

Xingyang Ni, Liang Fang외 1명|arXiv (Cornell University)|2020. 07. 15.

Video Surveillance and Tracking Methods참고 문헌 35인용 수 6

한 줄 요약

이 논문은 사람 재식별을 위한 적응형 L2 정규화 메커니즘을 제안하며, 정규화 인자는 백프로파게이션을 통해 최적화되는 스케일드 하드 시그모이드 함수를 사용하여 학습 가능한 파라미터로 설정된다. 이 방법은 대규모 MSMT17 데이터셋에서 최신 기술 성능을 달성하여, ResNet50 기준 mAP를 57.7%에서 59.4%로 향상시킨다.

ABSTRACT

We introduce an adaptive L2 regularization mechanism in the setting of person re-identification. In the literature, it is common practice to utilize hand-picked regularization factors which remain constant throughout the training procedure. Unlike existing approaches, the regularization factors in our proposed method are updated adaptively through backpropagation. This is achieved by incorporating trainable scalar variables as the regularization factors, which are further fed into a scaled hard sigmoid function. Extensive experiments on the Market-1501, DukeMTMC-reID and MSMT17 datasets validate the effectiveness of our framework. Most notably, we obtain state-of-the-art performance on MSMT17, which is the largest dataset for person re-identification. Source code is publicly available at https://github.com/nixingyang/AdaptiveL2Regularization.

연구 동기 및 목표

• 딥 러닝을 통한 사람 재식별에서 고정된 수작업으로 설정된 L2 정규화 인자의 한계를 해결하기 위해.
• 학습 중에 정규화 강도를 동적으로 조정하여 모델 일반화 성능을 향상시키기 위해.
• 층 전용 필요에 맞게 적응하는 학습 가능한, 미분 가능한 L2 정규화 메커니즘을 개발하기 위해.
• 특히 MSMT17을 포함한 대규모 사람 재식별 벤치마크에서 최신 기술 성능을 달성하기 위해.

제안 방법

• 정규화 인자를 학습 가능한 스칼라 변수로 도입하고, 백프로파게이션 동안 업데이트한다.
• 정규화 인자를 학습 가능한 범위 내에서 제한하기 위해 스케일드 하드 시그모이드 함수를 적용한다.
• 학습 가능한 L2 페널티 항으로서 적응형 정규화를 손실 함수에 통합한다.
• 분석을 위해 층 유형(예: conv_kernel, conv_bias, bn_gamma, bn_beta, dense_kernel)별로 정규화 인자를 분류한다.
• 실험에 대해 ResNet50 백본을 사용하고, Market-1501, DukeMTMC-reID, MSMT17에서 평가한다.
• 모든 데이터셋에서 성능을 추가로 향상시키기 위해 재랭킹(post-processing)을 적용한다.

실험 결과

연구 질문

• RQ1 학습 가능한 인자를 가진 적응형 L2 정규화는 사람 재식별 모델의 일반화 성능 향상에 기여하는가?
• RQ2 MSMT17와 같은 대규모 데이터셋에서 정규화 강도를 동적으로 조정하면 성능에 어떤 영향을 미치는가?
• RQ3 다른 층 유형은 서로 다른 정규화 강도가 필요한가, 그리고 이를 독립적으로 학습할 수 있는가?
• RQ4 제안된 방법은 mAP와 랭크-1 정확도 측면에서 기존의 고정된 L2 정규화보다 우수한가?
• RQ5 이 적응형 정규화 메커니즘은 사람 재식별을 초월한 다른 딥 러닝 작업으로 일반화 가능한가?

주요 결과

• 제안된 적응형 L2 정규화로 인해 ResNet50 백본을 사용한 MSMT17 데이터셋에서 mAP가 57.7%에서 59.4%로 향상되었다.
• 이 방법은 평가된 가장 큰 사람 재식별 데이터셋인 MSMT17에서 최신 기술 성능을 달성했다.
• DukeMTMC-reID에서 재랭킹을 결합한 경우, mAP가 90.7%에 도달하여 최신 기술 수준에 매우 가까운 성능을 기록했다.
• conv_bias의 정규화 인자는 0으로 수렴하여 배치 정규화에 의해 편향 항이 상쇄됨을 반영한다.
• 최종 정규화 인자의 히스토그램은 층 간에 상당한 변동성을 보이며, 층 전용 최적화가 이루어짐을 시사한다.
• 재랭킹을 사용함으로써 Market-1501의 mAP는 94.4%로, DukeMTMC-reID는 90.7%로, MSMT17는 76.7%로 더욱 향상되었다.