[논문 리뷰] A Cross-Modal Distillation Network for Person Re-identification in RGB-Depth.

Frank M. Hafner, Amran Bhuiyan외 2명|arXiv (Cornell University)|2018. 10. 27.

Video Surveillance and Tracking Methods참고 문헌 38인용 수 17

한 줄 요약

이 논문은 RGB와 깊이 모달 간의 구조적 특징을 교차 모달 분산 네트워크를 통해 전달하여 인물 재식별을 위한 두 단계 최적화를 사용해 공유 임bedding 공간에서 특징을 정렬한다. 이 방법은 계산 복잡도를 증가시키지 않으면서 BIWI 및 RobotPKU 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Person re-identification involves the recognition over time of individuals captured using multiple distributed sensors. With the advent of powerful deep learning methods able to learn discriminant representations for visual recognition, cross-modal person re-identification based on different sensor modalities has become viable in many challenging applications in, e.g., autonomous driving, robotics and video surveillance. Although some methods have been proposed for re-identification between infrared and RGB images, few address depth and RGB images. In addition to the challenges for each modality associated with occlusion, clutter, misalignment, and variations in pose and illumination, there is a considerable shift across modalities since data from RGB and depth images are heterogeneous. In this paper, a new cross-modal distillation network is proposed for robust person re-identification between RGB and depth sensors. Using a two-step optimization process, the proposed method transfers supervision between modalities such that similar structural features are extracted from both RGB and depth modalities, yielding a discriminative mapping to a common feature space. Our experiments investigate the influence of the dimensionality of the embedding space, compares transfer learning from depth to RGB and vice versa, and compares against other state-of-the-art cross-modal re-identification methods. Results obtained with BIWI and RobotPKU datasets indicate that the proposed method can successfully transfer descriptive structural features from the depth modality to the RGB modality. It can significantly outperform state-of-the-art conventional methods and deep neural networks for cross-modal sensing between RGB and depth, with no impact on computational complexity.

연구 동기 및 목표

• RGB 및 깊이 센서 간의 교차 모달 인물 재식별 문제를 해결하기 위해, 모달 간 이질성과 구조적 불일치로 인한 과제를 해결한다.
• 외관, 자세, 조명 및 센서 고유의 노이즈 등의 차이에도 불구하고 RGB와 깊이 모달 간의 강건한 특징 전달을 가능하게 한다.
• 교차 모달 분산을 통해 공유된, 구별 능력 있는 특징 공간을 학습하여 재식별 정확도를 향상시킨다.
• 임bedding 차원 수와 전이 방향성(깊이 → RGB 대비 RGB → 깊이)이 교차 모달 학습에 미치는 영향을 평가한다.
• RGB 및 깊이 데이터를 사용한 기존 최신 기술 수준의 방법들을 초월하는 성능을 달성한다.

제안 방법

• RGB와 깊이 모달 간의 감독을 전달하기 위해 두 단계 최적화 과정을 사용하여 구조적 특징의 정렬을 가능하게 한다.
• 지식 분산을 활용해 한 모달에서 다른 모달로 구별 능력 있는 표현을 전달하여 공유된 특징 공간에서의 일관성을 증진시킨다.
• 양 모달의 특징가 공통의 구별 능력 있는 표현으로 매핑되는 공유된 임bedding 공간을 학습한다.
• RGB와 깊이 모달 간의 대응하는 특징 간의 차이를 최소화하도록 네트워크를 훈련시켜 교차 모달 일반화 능력을 향상시킨다.
• 성능 향상과 함께 계산 복잡도를 유지하는 설계를 통해 다양한 데이터셋에서의 성능 향상을 달성한다.
• 양방향 전이를 지원하여 깊이 → RGB 및 RGB → 깊이 특징 전이의 평가가 가능하다.

실험 결과

연구 질문

• RQ1 임bedding 공간의 차원 수가 교차 모달 인물 재식별 성능에 어떤 영향을 미치는가?
• RQ2 특징 전이의 방향성 — 깊이 → RGB 또는 RGB → 깊이 — 중 어느 쪽이 더 높은 성능을 낼 수 있는가?
• RQ3 제안된 분산 네트워크가 기존 최신 기술 수준의 방법들을 초월할 수 있는가?
• RQ4 이 방법이 모달 이동을 어느 정도 완화하고 이질적인 데이터 간의 특징 정렬을 얼마나 향상시키는가?
• RQ5 우수한 정확도를 달성하면서도 저비용 계산 복잡도를 유지하는가?

주요 결과

• 제안된 방법은 BIWI 및 RobotPKU 데이터셋에서 기존의 전통적 및 딥러닝 기반 교차 모달 인물 재식별 방법들을 크게 능가한다.
• 깊이 모달에서 RGB 모달로의 구조적 특징 전이가 재식별 정확도 향상에 기여하여 분산 과정의 효과성을 입증한다.
• 계산 복잡도를 증가시키지 않으면서도 최신 기술 수준의 성능을 달성하여 효율성을 유지한다.
• 두 단계 최적화 과정은 모달 이동을 성공적으로 감소시키고 공유된 임bedding 공간 내 특징 정렬을 향상시켰다.
• 제거 실험 결과는 임bedding 차원 수의 선택이 성능에 영향을 미치며, 최적 설정에서 가장 우수한 성능을 내는 것으로 확인되었다.
• 양방향 전이 실험 결과, 깊이 → RGB 전이가 RGB → 깊이 전이보다 일반적으로 더 높은 성능을 보였으며, 깊이 특징의 구별 능력을 강조한다.