[논문 리뷰] Video-based Person Re-identification with Accumulative Motion Context

Hao Liu, Zequn Jie외 5명|arXiv (Cornell University)|2017. 01. 01.

Video Surveillance and Tracking Methods참고 문헌 26인용 수 13

한 줄 요약

이 논문은 영상 시퀀스에서 외관 및 운동 특징을 함께 학습하기 위한 두 개의 스트림으로 구성된 엔드 투 엔드 딥 러닝 프레임워크인 누적 운동 컨텍스트(AMOC) 네트워크를 제안한다. 이는 프레임 간에 운동 컨텍스트를 누적하는 순환적 집합을 사용한다. 이 방법은 iLIDS-VID, PRID-2011, MARS 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, MARS에서 순위 1 정확도 68.3%와 mAP 52.9%를 기록하여 이전 방법보다 최대 3%p 높은 순위 1 정확도를 확보한다.

ABSTRACT

Video based person re-identification plays a central role in realistic security and video surveillance. In this paper we propose a novel Accumulative Motion Context (AMOC) network for addressing this important problem, which effectively exploits the long-range motion context for robustly identifying the same person under challenging conditions. Given a video sequence of the same or different persons, the proposed AMOC network jointly learns appearance representation and motion context from a collection of adjacent frames using a two-stream convolutional architecture. Then AMOC accumulates clues from motion context by recurrent aggregation, allowing effective information flow among adjacent frames and capturing dynamic gist of the persons. The architecture of AMOC is end-to-end trainable and thus motion context can be adapted to complement appearance clues under unfavorable conditions (e.g. occlusions). Extensive experiments are conduced on three public benchmark datasets, i.e., the iLIDS-VID, PRID-2011 and MARS datasets, to investigate the performance of AMOC. The experimental results demonstrate that the proposed AMOC network outperforms state-of-the-arts for video-based re-identification significantly and confirm the advantage of exploiting long-range motion context for video based person re-identification, validating our motivation evidently.

연구 동기 및 목표

• 영상 감시 환경에서 조명, 자세, 시점, 배경 혼잡도 등으로 인한 큰 외관 변화에 의한 인물 재식별 과제를 해결하기 위해.
• 단일 프레임 외관 특징을 초월한 장거리 운동 컨텍스트를 활용하여 인식의 강건성을 향상시키기 위해.
• 외관 및 운동 표현을 함께 학습하는 엔드 투 엔드로 훈련 가능한 아키텍처를 개발하기 위해.
• 수작업으로 만든 옵티컬 플로우와 단일 스트림 CNN의 한계를 극복하기 위해 운동 학습을 재식별 파이프라인에 직접 통합하기 위해.
• 시간에 걸쳐 축적된 운동 컨텍스트가 인물 재식별을 위한 분류 특징 학습을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• AMOC 네트워크는 두 개의 컨볼루션 스트림 아키텍처를 사용한다: 하나는 RGB 프레임을 처리하여 외관 특징을 추출하고, 다른 하나는 옵티컬 플로우를 처리하여 운동 컨텍스트를 추출한다.
• 옵티컬 플로우는 사전에 추출된 플로우에 의존하지 않고, 재식별 네트워크와 함께 공동으로 훈련되는 플로우 네트워크를 통해 엔드 투 엔드로 추정된다.
• 운동 컨텍스트는 인접 프레임 간의 운동 특징을 집계하여 장기적인 시간적 동역학을 모델링하는 순환 신경망(RNN) 모듈을 통해 누적된다.
• 외관 및 운동 특징는 특징 수준에서 융합되고, 분류 능력을 향상시키기 위해 엔드 투 엔드 훈련을 통해 공동 최적화된다.
• 특징 추출 또는 메트릭 학습 단계를 별도로 두지 않고 영상 시퀀스에서 엔드 투 엔드로 훈련되어 특징과 매칭 기준을 함께 최적화할 수 있다.
• 훈련 중에 EpicFlow를 사용한 옵티컬 플로우 추정은 사전 처리 없이도 고품질의 운동 감독을 보장한다.

실험 결과

연구 질문

• RQ1 어려운 시각 조건 하에서 영상 시퀀스에서 장거리 운동 컨텍스트가 인물 재식별 성능을 크게 향상시킬 수 있는가?
• RQ2 순환적 운동 누적과 함께 외관 및 운동 특징를 엔드 투 엔드로 학습하면 별도의 특징 추출 및 메트릭 학습 방식보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ3 수작업으로 만든 기술자료나 사전 추출된 옵티컬 플로우에 의존하는 최신 기술 수준의 방법과 비교해 본다면, 제안된 AMOC 네트워크는 어떻게 성능을 내는가?
• RQ4 운동 컨텍스트 통합이 교차 카메라 재식별에서 가림 및 외관 변화의 영향을 어느 정도 줄일 수 있는가?
• RQ5 분리된 특징 추출 및 메트릭 학습을 분리한 방법보다, 공동으로 훈련되는 엔드 투 엔드 아키텍처가 더 나은 성능을 낼 수 있는가?

주요 결과

• MARS 데이터셋에서 AMOC 모델은 순위 1 정확도 68.3%를 기록하여 이전 최신 기술 수준 방법(IDE + XQDA)보다 3%p 높게 달성했다.
• MARS에서 AMOC 모델은 평균 평균 정밀도(mAP) 52.9%를 기록했으며, 최고 성능 기준 모델(IDE + XQDA)의 47.6%보다 높았다.
• iLIDS-VID 및 PRID-2011에서 AMOC 모델은 경쟁력 있는 성능을 기록하여 다양한 벤치마크 데이터셋에서의 강건성을 확인했다.
• ImageNet 사전 훈련 없이도, 수작업 기반 기술자료(예: LOMO, BoW) 및 메트릭 학습 방법(예: XQDA, KISSME)보다 뚜렷한 성능 향상을 보였다.
• 제거 분석 결과, 순환 운동 누적 기법이 성능 향상에 크게 기여함을 확인하여 장거리 운동 컨텍스트의 가치를 입증했다.
• 옵티컬 플로우 맵의 시각화 결과, 운동 네트워크가 전경 운동을 효과적으로 포착하는 것으로 나타났지만 배경 운동은 여전히 노이즈를 유발할 수 있어, 분할 통합을 통해 향상 가능성이 있음을 시사했다.