[논문 리뷰] Keypoint Message Passing for Video-based Person Re-Identification

Di Chen, Andreas Doering외 4명|arXiv (Cornell University)|2021. 11. 16.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 인간 신체 관절 키포인트 특징을 그래프 컬러리션 네트워크(GCNs)를 통해 활용함으로써 CNN 기반 비디오 재식별 성능을 향상시키는 그래프 기반 메시지 패싱 프레임워크인 KMPNet을 제안한다. 관절에서 유도된 공간-시간 메시지 패싱을 통해 훈련하면서 추론 시 GCN 브랜치를 제거함으로써 MARS와 PoseTrackReID에서 최신 기준 성능을 달성하였으며, PCB 기준선 대비 MARS에서 상위 1위 정확도가 +3.3pp 향상되는 등 뚜렷한 정확도 향상 효과를 보였다.

ABSTRACT

Video-based person re-identification (re-ID) is an important technique in visual surveillance systems which aims to match video snippets of people captured by different cameras. Existing methods are mostly based on convolutional neural networks (CNNs), whose building blocks either process local neighbor pixels at a time, or, when 3D convolutions are used to model temporal information, suffer from the misalignment problem caused by person movement. In this paper, we propose to overcome the limitations of normal convolutions with a human-oriented graph method. Specifically, features located at person joint keypoints are extracted and connected as a spatial-temporal graph. These keypoint features are then updated by message passing from their connected nodes with a graph convolutional network (GCN). During training, the GCN can be attached to any CNN-based person re-ID model to assist representation learning on feature maps, whilst it can be dropped after training for better inference speed. Our method brings significant improvements over the CNN-based baseline model on the MARS dataset with generated person keypoints and a newly annotated dataset: PoseTrackReID. It also defines a new state-of-the-art method in terms of top-1 accuracy and mean average precision in comparison to prior works.

연구 동기 및 목표

• 2D 및 3D 컨볼루션의 한계, 특히 사람의 움직임으로 인한 공간 국소성과 시간 비일치 문제를 해결하기 위해.
• 사람 관절 키포인트에서 유도된 비국소적이고 인간 중심의 공간-시간 정보를 통합함으로써 CNN 기반 재식별 모델의 표현 학습을 향상시키기 위해.
• 훈련 시점에 그래픽 브랜치를 설계하여 CNN 특징 학습을 향상시키지만, 추론 시 효율성을 유지하기 위해 이를 제거할 수 있도록 하기 위해.
• 비디오 재식별을 위한 새로운 벤치마크 데이터셋인 PoseTrackReID를 제안하여 인물 ID 및 관절 키포인트 레이블을 함께 제공하기 위해.
• 기존 재식별 벤치마크에서 상위 1위 정확도 및 평균 평균 정확도(MAP) 측면에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 인간 신체 관절 위치에서 CNN 특징 맵으로부터 관절 키포인트 특징을 추출하여 공간-시간 그래프의 노드로 구성한다.
• 그래프 컬러리션 네트워크(GCNs)가 공간과 시간에 걸쳐 연결된 관절 키포인트 간에 메시지 패싱을 수행함으로써 비국소적이고 시간적으로 정렬된 특징 집합을 가능하게 한다.
• GCN 브랜치는 CNN에 대한 역전파를 통해 피드백 신호를 제공하는 병렬 훈련 브랜치로 기능하며, 추론 네트워크를 수정하지 않고도 특징 학습을 향상시킨다.
• 훈련 후, 관절 검출 및 그래프 구조를 포함한 전체 GCN 브랜치는 제거되어 오직 CNN만 추론에 사용되어 속도와 효율성을 확보한다.
• 이 방법은 어떤 CNN 기반 재식별 모델(예: PCB)에도 아키텍처 변경 없이 적용 가능하여 일반화 가능성을 확보한다.
• 이 방법은 '관절 메시지 패싱(KMP)'으로 명명되며, 전체 모델은 KMPNet으로 불린다.

실험 결과

연구 질문

• RQ1 인간 신체 관절에서 유도된 그래프 기반 메시지 패싱이 국소 컨볼루션의 한계를 초월하여 CNN 기반 비디오 재식별 성능을 향상시킬 수 있는가?
• RQ2 관절에서 유도된 공간적 및 시간적 메시지 패싱을 동시에 통합할 경우, 각각을 별도로 사용하는 것보다 더 나은 표현 학습을 이룰 수 있는가?
• RQ3 그래픽 훈련 브랜치를 추론 시 효과적으로 제거함으로써 성능 저하 없이 효율적인 배포가 가능한가?
• RQ4 최신 기준 재식별 모델과 비교할 때 상위 1위 정확도 및 평균 평균 정확도 측면에서 성능은 어떻게 되는가?
• RQ5 GCN 가이드 훈련이 작은 수신장 영역을 가진 초기 레이어의 특징 맵에서 분류 능력을 얼마나 향상시키는가?

주요 결과

• KMPNet은 MARS 데이터셋에서 상위 1위 정확도 93.0%와 mAP 90.4%를 기록하여 새로운 최고 기록을 수립했다.
• MARS 데이터셋에서 공간 메시지 패싱을 사용할 경우, PCB 기준선 대비 상위 1위 정확도가 3.3%p 향상되고 mAP는 0.9pp 향상되었다.
• 시간 메시지 패싱만을 사용할 경우, PCB 기준선 대비 상위 1위 정확도가 3.4%p 향상되고 mAP는 0.7pp 향상되었다.
• 공간 및 시간 메시지 패싱의 조합이 가장 뛰어난 성능을 보였으며, 각각의 모odalities보다 우월한 성능을 보였다.
• GCN 처리된 임bedding(x_g)는 CNN 임베딩(x_c)보다 분류 능력이 떨어지므로, 추론 시 GCN 브랜치 제거가 타당하다고 설명된다.
• 제거 실험 결과, 성능 향상 요인이 그래프 기반 메시지 패싱임을 확인하였으며, GCN 브랜치 없이 더 오래 훈련한 기준선 모델은 성능 향상이 없었다.