[논문 리뷰] Backbone Can Not be Trained at Once: Rolling Back to Pre-trained Network for Person Re-Identification

Youngmin Ro, Jongwon Choi외 4명|arXiv (Cornell University)|2019. 01. 18.

Video Surveillance and Tracking Methods참고 문헌 43인용 수 5

한 줄 요약

이 논문은 저수준 레이어에서 기울기 소실 문제를 해결하기 위해 고수준 가중치를 정기적으로 미리 훈련된 값으로 되돌리는 전략을 제안한다. 이는 더 깊고 효과적인 훈련을 가능하게 하며, 품질 향상된 컨벌루션 네트워크를 사용하여 Market-1501과 DukeMTMC에서 최신 기술 수준(SOTA) 성능을 달성한다. 추가 모듈(예: 자세 추정, 세그멘테이션)이 없이도 성능을 내는다.

ABSTRACT

In person re-identification (ReID) task, because of its shortage of trainable dataset, it is common to utilize fine-tuning method using a classification network pre-trained on a large dataset. However, it is relatively difficult to sufficiently fine-tune the low-level layers of the network due to the gradient vanishing problem. In this work, we propose a novel fine-tuning strategy that allows low-level layers to be sufficiently trained by rolling back the weights of high-level layers to their initial pre-trained weights. Our strategy alleviates the problem of gradient vanishing in low-level layers and robustly trains the low-level layers to fit the ReID dataset, thereby increasing the performance of ReID tasks. The improved performance of the proposed strategy is validated via several experiments. Furthermore, without any add-ons such as pose estimation or segmentation, our strategy exhibits state-of-the-art performance using only vanilla deep convolutional neural network architecture.

연구 동기 및 목표

• 미리 훈련된 네트워크의 저수준 레이어에서 기울기 소실로 인한 수렴 불량 문제를 해결한다.
• 저수준 필터의 효과적인 훈련을 가능하게 하여 사람 재식별(Person Re-identification, ReID)을 위한 특징의 구분 능력을 향상시킨다.
• 자세 추정기나 세그멘테이션 마스크와 같은 외부 모듈을 추가하지 않고도 미리 훈련된 백본의 성능을 향상시킨다.
• 이를 바탕으로 미세조정 전략이 ReID 외에도 일반화 가능한지 확인하기 위해 미세한 이미지 분류 작업에 적용한다.

제안 방법

• 훈련이 정체될 경우 고수준 레이어의 가중치를 사전에 훈련된 값으로 다시 설정하는 백트래킹 미세조정 전략을 도입한다.
• 반복적인 미세조정을 통해 고수준 가중치 복원 주기를 설정하여 저수준 레이어로의 기울기 흐름을 재개한다.
• 이중 단계 훈련 스케줄을 사용한다: 초기 미세조정 이후에 고수준 가중치 복원을 반복하는 훈련 사이클을 수행한다.
• 훈련 손실과 mAP를 모니터링하여 조기 수렴을 감지하고 백트래킹 메커니즘을 트리거한다.
• 전체 경로 역전파를 유지하면서 고수준 가중치를 선택적으로 복원하여 깊은 레이어에서의 학습을 재개한다.
• 아키텍처나 손실 함수를 수정하지 않고 표준 ResNet 백본과 표준 크로스 엔트로피 손실을 사용해 방법을 구현한다.

실험 결과

연구 질문

• RQ1 미리 훈련된 네트워크의 저수준 레이어에서 발생하는 기울기 소실 문제를 ReID 미세조정 과정에서 완화할 수 있는가?
• RQ2 고수준 가중치를 정기적으로 백트래킹하는 것이 ReID 모델의 일반화 성능을 향상시키는가?
• RQ3 복잡한 모듈(예: 자세 추정, 어텐션 마스크)을 추가하지 않은 단순하고 즉시 사용 가능한 전략이 더 복잡한 모델을 능가할 수 있는가?
• RQ4 표준 미세조정 및 FC 웜업 전략과 비교해 본다면, 수렴 속도와 mAP 측면에서 제안된 방법은 어떻게 다른가?

주요 결과

• 백트래킹 전략은 ResNet-50를 사용해 Market-1501(77.0%)과 DukeMTMC(66.6%)에서 mAP를 크게 향상시켜, 추가 모듈을 갖춘 최신 기술 수준(SOTA) 방법을 뛰어넘는다.
• Market-1501에서 ResNet-34를 사용할 경우 75.0% mAP, ResNet-101을 사용할 경우 79.9% mAP를 기록하여 백본 깊이에 따라 스케일링 가능함을 입증한다.
• SVDNet, HAP2S_P, PSE와 같은 SOTA 방법보다 Market-1501에서 mAP가 7퍼센트 이상 높으며, 추가 구성 요소 없이도 성능을 확보한다.
• 더 높은 훈련 손실에도 불구하고 FC 웜업 전략보다 더 나은 일반화 성능을 보이며, 개선된 일반화 능력을 입증한다.
• 최종 컨볼루션 레이어의 특징 맵을 분석한 결과, 제안된 방법은 표준 미세조정 대비 더 구분력 있는 전경 주의를 보인다.
• 이 방법은 ReID를 넘어서 미세한 이미지 분류 작업에서도 성능 향상을 이끌어내어, 시각 작업 전반에 걸쳐 보편적인 적용 가능성을 확인한다.