[논문 리뷰] Video-based Person Re-identification via 3D Convolutional Networks and Non-local Attention

Xingyu Liao, Lingxiao He외 2명|arXiv (Cornell University)|2018. 07. 12.

Video Surveillance and Tracking Methods참고 문헌 51인용 수 5

한 줄 요약

이 논문은 3D 합성곱 신경망에 비국소 주의 블록을 통합하여 영상 기반 인물 재식별을 위한 방법을 제안한다. 이는 공간-시간적 종속성을 공동으로 모델링하고 공간적 비일치를 다룰 수 있도록 한다. 제안된 방법은 기존 최고 성능 기준을 초월하여 MARS 데이터셋에서 mAP를 2.0% 향상시키며, PRID2011 및 iLIDS-VID에서도 기존 접근 방식을 능가한다.

ABSTRACT

Video-based person re-identification (ReID) is a challenging problem, where some video tracks of people across non-overlapping cameras are available for matching. Feature aggregation from a video track is a key step for video-based person ReID. Many existing methods tackle this problem by average/maximum temporal pooling or RNNs with attention. However, these methods cannot deal with temporal dependency and spatial misalignment problems at the same time. We are inspired by video action recognition that involves the identification of different actions from video tracks. Firstly, we use 3D convolutions on video volume, instead of using 2D convolutions across frames, to extract spatial and temporal features simultaneously. Secondly, we use a non-local block to tackle the misalignment problem and capture spatial-temporal long-range dependencies. As a result, the network can learn useful spatial-temporal information as a weighted sum of the features in all space and temporal positions in the input feature map. Experimental results on three datasets show that our framework outperforms state-of-the-art approaches by a large margin on multiple metrics.

연구 동기 및 목표

• 영상 기반 인물 재식별에서 시간적 종속성과 공간적 비일치 문제를 해결한다.
• 장거리 공간-시간적 관계를 캡처함으로써 영상 시퀀스 간 특징 집약을 향상시킨다.
• 평균/최대 풀링 및 RNN 기반 방법의 한계를 극복하며, 동시에 시간 역학성과 공간적 비일치를 모델링하지 못하는 문제를 해결한다.
• 구분 능력 있는 표현 학습을 위해 공간적 및 시간적 주의를 종합적으로 통합한 엔드 투 엔드 3D CNN 프레임워크를 구현한다.
• 실제 환경 조건(예: 가림, 시야각 변화 등)이 다양한 기준 데이터셋에서 뛰어난 성능을 보임을 입증한다.

제안 방법

• 영상 볼륨에서 직접 연속적인 공간-시간 특징을 추출하기 위해 2D 컨볼루션을 대체로 3D 합성곱 네트워크를 활용한다.
• 비국소 블록을 통합하여 공간 및 시간 영역 간 장거리 종속성을 명시적으로 모델링하고, 모든 위치의 특징을 가중 평균화할 수 있도록 한다.
• 비국소 블록을 공간-시간 주의 메커니즘으로 활용하여 기형되거나 가려진 프레임에서의 비일치를 완화한다.
• 영상 트랙 쌍에 대해 삼중손실을 사용한 지도형 대비 학습을 통해 엔드 투 엔드 모델을 훈련시킨다.
• Kinetics 데이터셋에서 3D ResNet3D-50 백본을 사전학습하여, ImageNet이나 ReID 전용 데이터셋보다 영상 기반 ReID에 더 우수한 초기화를 제공한다.
• 최종 임bedding의 구분 능력을 향상시키기 위해 특징 정규화 및 메트릭 학습을 적용한다.

실험 결과

연구 질문

• RQ1 2D-CNN에 순환 풀링을 적용한 방법과 비교해 3D 컨볼루션 네트워크가 영상 ReID에서 공간-시간 표현을 효과적으로 학습할 수 있는가?
• RQ2 비국소 블록이 영상 시퀀스에서 장거리 종속성을 모델링하고 공간적 비일치를 다루는 데 어떻게 성능 향상을 이끌어내는가?
• RQ3 비국소 주의를 통합한 엔드 투 엔드 3D CNN 학습이 별도의 주의 또는 RNN 모듈을 사용하는 기존 방법을 능가하는가?
• RQ4 영상 행동 인식 데이터셋(예: Kinetics)에서의 사전학습이 인물 ReID에서 일반화 능력을 얼마나 향상시키는가?
• RQ5 가림, 시야각 변화, 배경 혼잡성 등의 도전적인 조건 하에서 제안된 방법의 성능은 어떠한가?

주요 결과

• MARS 데이터셋에서 제안된 방법은 랭크-1 정확도 91.2%와 mAP 77.0%를 달성하여 이전 최고 성능인 82.3% mAP보다 2.0%포인트 높게 기록했다.
• PRID2011에서 랭크-1 정확도 91.2%를 기록했으며, 이는 이전 최고 성능인 93.2%보다 略적으로 낮지만 더 효율적이고 엔드 투 엔드 아키텍처를 제공한다.
• iLIDS-VID에서 랭크-1 정확도 81.3%를 달성하여 이전 최고 성능인 80.2%를 초월하며 강력한 일반화 능력을 입증했다.
• Kinetics에서의 사전학습이 가장 높은 성능(84.3% mAP, MARS 기준)을 기록했으며, ImageNet 및 ReID 전용 사전학습보다 뚜렷이 뛰어났다.
• 제거 분석 결과, ResNet3D-50에 비국소 블록을 통합함으로써 MARS에서 성능이 80.0%에서 84.3%로 향상됨을 확인하여 비국소 주의의 효과성을 입증했다.
• 비국소 블록은 공간적 비일치를 효과적으로 완화하고, 특히 가림 및 변형이 발생할 경우 특징 집약을 향상시킨다.