[논문 리뷰] Spatio-Temporal Representation Factorization for Video-based Person Re-Identification

Abhishek Aich, Meng Zheng외 4명|arXiv (Cornell University)|2021. 07. 25.

Video Surveillance and Tracking Methods참고 문헌 56인용 수 5

한 줄 요약

이 논문은 3D-CNN에 대한 경량형 플러그인 모듈인 시공간 표현 인수분해(Spatio-Temporal Representation Factorization, STRF)를 제안한다. STRF는 시간적(정적/동적) 및 공간적(粗모/세밀) 특징을 인수분해하여 영상 기반 인물 재식별 성능을 향상시킨다. STRF는 분류 능력 향상을 위해 표현 학습을 강화하며, 단위당 약 0.15M의 추가 파라미터만을 사용하여 MARS에서 86.1%, DukeMTMC에서 96.4%, iLIDS-VID에서 89.3%의 새로운 최고 성능(mAP)을 달성한다.

ABSTRACT

Despite much recent progress in video-based person re-identification (re-ID), the current state-of-the-art still suffers from common real-world challenges such as appearance similarity among various people, occlusions, and frame misalignment. To alleviate these problems, we propose Spatio-Temporal Representation Factorization (STRF), a flexible new computational unit that can be used in conjunction with most existing 3D convolutional neural network architectures for re-ID. The key innovations of STRF over prior work include explicit pathways for learning discriminative temporal and spatial features, with each component further factorized to capture complementary person-specific appearance and motion information. Specifically, temporal factorization comprises two branches, one each for static features (e.g., the color of clothes) that do not change much over time, and dynamic features (e.g., walking patterns) that change over time. Further, spatial factorization also comprises two branches to learn both global (coarse segments) as well as local (finer segments) appearance features, with the local features particularly useful in cases of occlusion or spatial misalignment. These two factorization operations taken together result in a modular architecture for our parameter-wise light STRF unit that can be plugged in between any two 3D convolutional layers, resulting in an end-to-end learning framework. We empirically show that STRF improves performance of various existing baseline architectures while demonstrating new state-of-the-art results using standard person re-ID evaluation protocols on three benchmarks.

연구 동기 및 목표

• 외관 유사성, 가림, 프레임 정렬 오차 등의 지속적인 과제를 해결한다.
• 기존 3D-CNN이 보완적인 시간적 및 공간적 동적 특징을 명시적으로 모델링하지 못하는 한계를 극복한다.
• 아키텍처 재설계 없이도 어떤 3D-CNN 백본에나 통합 가능한 유연하고 파라미터 효율적인 모듈을 설계한다.
• 시간적 차원에서 정적(외관) 및 동적(운동) 성분, 공간적 차원에서 라운드(전체) 및 세밀(국소) 특징을 인수분해하여 분류 능력 향상된 표현 학습을 개선한다.
• 계산 효율성을 유지하면서도 여러 벤치마크에서 최고 성능를 달성한다.

제안 방법

• STRF는 3D 합성곱 레이어 사이에 삽입되는 플러그인 모듈로, 단위당 약 0.15M의 학습 가능한 파라미터만 추가한다.
• 시간적 인수분해 모듈은 시간 샘플링 전략을 사용하여 특징을 정적(저주파수) 및 동적(고주파수) 성분으로 분할한다.
• 공간적 인수분해 모듈은 공간 샘플링 및 특징 추출을 통해 라운드(전체) 및 세밀(국소) 외관 특징을 분리한다.
• 각 인수분해 분기에서는 해당 차원에 맞는 전용 3D 합성곱을 사용하여 분류 능력 있는 표현을 학습한다.
• 모듈은 엔드 투 엔드로 훈련 가능하며, 3D-CNN의 여러 단계에 적용 가능하며, 중간 레이어(Stage 2 및 3)에서 최적의 성능를 기록한다.
• 모든 네 가지 인수분해 분기(시간 정적, 시간 동적, 공간 라운드, 공간 세밀)의 출력을 융합하기 위해 특징 융합 모듈(FAM)을 사용한다.

실험 결과

연구 질문

• RQ1 시간적 및 공간적 특징의 명시적 인수분해가 영상 재식별에서 분류 능력 있는 표현을 향상시키는가?
• RQ2 정적(외관) 및 동적(운동) 시간 특징을 분리하면 가림 및 정렬 오차 상황에서도 더 나은 일반화 성능를 얻을 수 있는가?
• RQ3 라운드 및 세밀 공간 특징이 함께 작용하면 부분적 가림 및 공간 정렬 오차에 대한 강건성을 향상시킬 수 있는가?
• RQ4 3D-CNN 아키텍처 내에서 STRF의 위치가 성능에 어떤 영향을 미치는가?
• RQ5 경량형 모듈식 아키텍처가 아키텍처 재설계 없이도 최고 성능를 달성할 수 있는가?

주요 결과

• STRF는 MARS 벤치마크에서 이전의 방법들인 AP3D(85.6%) 및 M3D(79.46%)를 뛰어넘는 새로운 최고 성능인 86.1%의 mAP를 달성한다.
• DukeMTMC에서 STRF는 96.4%의 mAP를 기록하여 이전 최고 성능인 TACAN(95.40% mAP)을 초월한다.
• iLIDS-VID에서 STRF는 89.3%의 mAP를 달성하여 TACAN의 이전 최고 성능인 88.9%를 뛰어넘는다.
• 제거 실험 결과, 네 가지 인수분해 구성요소(시간 정적, 시간 동적, 공간 라운드, 공간 세밀)가 각각 독립적으로 기여하며, 전체 STRF 모듈은 MARS에서 86.1%의 mAP를 기록한다.
• 네트워크의 첫 번째 스테이지에 STRF를 적용할 경우 성능가 저하됨을 확인하여, 저수준 특징은 효과적인 인수분해를 위해 충분한 의미 정보를 갖지 못함을 시사한다.
• 비교된 아키텍처들 중에서 STRF가 가장 파라미터 효율적이며, I3D에 추가할 경우 총 파라미터 수가 약 1.73% 증가할 뿐만 아니라, 최대 7500만 개의 파라미터가 더 많은 모델들보다 뛰어난 성능를 기록한다.