[논문 리뷰] AdaptiveReID: Adaptive L2 Regularization in Person Re-Identification.

Xingyang Ni, Liang Fang외 1명|arXiv (Cornell University)|2020. 07. 15.

Video Surveillance and Tracking Methods인용 수 7

한 줄 요약

AdaptiveReID는 훈련 중에 정규화 인자를 동적으로 조정할 수 있는 학습 가능한, backpropagation 기반의 L2 정규화 메커니즘을 제안한다. 이는 고정된 하이퍼파rameter를 대체한다. 가중치를 학습 가능한 스칼라로 표현하고 하드 시그모이드를 통해 0에서 1 사이로 제약을 두어, 대규모 MSMT17 데이터셋에서 최신 기술 수준의 성능을 달성하며, 인식 재정의(person re-identification)에서 더 나은 일반화 능력을 보여준다.

ABSTRACT

We introduce an adaptive L2 regularization mechanism termed AdaptiveReID, in the setting of person re-identification. In the literature, it is common practice to utilize hand-picked regularization factors which remain constant throughout the training procedure. Unlike existing approaches, the regularization factors in our proposed method are updated adaptively through backpropagation. This is achieved by incorporating trainable scalar variables as the regularization factors, which are further fed into a scaled hard sigmoid function. Extensive experiments on the Market-1501, DukeMTMC-reID and MSMT17 datasets validate the effectiveness of our framework. Most notably, we obtain state-of-the-art performance on MSMT17, which is the largest dataset for person re-identification. Source code will be published at this https URL.

연구 동기 및 목표

• 인식 재정의 모델에서 고정된 수작업 조정된 L2 정규화 인자의 한계를 해결하기 위해.
• 정규화 인자를 훈련 중에 적응적으로 조정함으로써 모델의 일반화 능력을 향상시키기 위해.
• 딥 러닝을 위한 동적 가중치 감소를 위한 미분 가능하고 학습 가능한 메커니즘을 개발하기 위해.
• 특히 MSMT17과 같은 대규모 인식 재정의 벤치마크에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 고정된 하이퍼파rameter를 대체하여, 적응형 L2 정규화 인자로 사용 가능한 학습 가능한 스칼라 파rameter를 도입한다.
• 값을 0에서 1 사이로 제약하기 위해 스케일링된 하드 시그모이드 활성화 함수를 사용해 이 학습 가능한 스칼라를 손실 함수에 통합한다.
• 엔드 투 엔드 훈련 중에 backpropagation를 통해 정규화 인자를 업데이트한다.
• 최적화 과정에 적응형 인자를 통합하여 표준 딥 러닝 프레임워크와의 호환성을 유지한다.
• 인식 재정의를 위한 딥 메트릭 러닝 모델에 이 메커니즘을 적용한다.

실험 결과

연구 질문

• RQ1 적응형으로 학습 가능한 L2 정규화는 고정된 정규화보다 인식 재정의 성능을 향상시킬 수 있는가?
• RQ2 정규화 인자들을 엔드 투 엔드 최적화하면 대규모 데이터셋에서 더 나은 일반화를 이끌 수 있는가?
• RQ3 제안된 방법은 가장 도전적인 ReID 벤치마크인 MSMT17에서 최신 기술 수준의 결과를 달성할 수 있는가?
• RQ4 수렴성과 강건성 측면에서 적응형 정규화 메커니즘은 표준 가중치 감소와 비교해 어떻게 다른가?

주요 결과

• AdaptiveReID는 가장 큰 인식 재정의 벤치마크인 MSMT17 데이터셋에서 최신 기술 수준의 성능를 달성한다.
• 훈련 중에 정규화 강도를 동적으로 조정함으로써 모델의 일반화 능력을 향상시킨다.
• 미분 가능하고 학습 가능한 정규화 인자를 사용함으로써 딥 메트릭 러닝에서 더 나은 특징 구분 능력을 확보한다.
• 모든 평가된 데이터셋에서 표준 고정 L2 정규화보다 재정의 정확도 측면에서 제안된 메커니즘이 뛰어난 성능를 보인다.