[논문 리뷰] Learning Video Representations from Correspondence Proposals

Xingyu Liu, Joon‐Young Lee외 1명|arXiv (Cornell University)|2019. 05. 20.

Human Pose and Action Recognition참고 문헌 39인용 수 10

한 줄 요약

이 논문은 정신적 공간에서 k-가장 가까운 이웃 대응 관계로부터 특징을 집계함으로써 장거리 운동과 동적 콘텐츠를 모델링하는 새로운 비디오 표현 학습 프레임워크인 CPNet을 제안한다. 비디오 특징을 점군으로 간주하고, 최대 풀링된 대응 임베딩을 갖는 학습 가능한 CP 모듈을 사용함으로써, CPNet은 RGB 입력만을 사용하고 이전 방법보다 적은 파라미터를 사용하면서도 Something-Something와 Jester에서 최고 성능을 기록하고, Kinetics에서는 SOTA 성능을 달성한다.

ABSTRACT

Correspondences between frames encode rich information about dynamic content in videos. However, it is challenging to effectively capture and learn those due to their irregular structure and complex dynamics. In this paper, we propose a novel neural network that learns video representations by aggregating information from potential correspondences. This network, named $CPNet$, can learn evolving 2D fields with temporal consistency. In particular, it can effectively learn representations for videos by mixing appearance and long-range motion with an RGB-only input. We provide extensive ablation experiments to validate our model. CPNet shows stronger performance than existing methods on Kinetics and achieves the state-of-the-art performance on Something-Something and Jester. We provide analysis towards the behavior of our model and show its robustness to errors in proposals.

연구 동기 및 목표

• 프레임 간 비정규적이고 장거리적인 대응 관계로부터 효과적인 비디오 표현을 학습하는 데 도전한다.
• 광학 흐름이나 복잡한 시공간 연산에 의존하지 않고 비디오의 동적 콘텐츠를 모델링한다.
• 시간 일관성을 유지하면서 잠재적 대응 관계의 집합으로부터 효과적으로 집계하고 학습할 수 있는 모듈을 개발한다.
• RGB 입력만을 사용하여 종합적인 외관 및 운동 특징을 엔드 투 엔드로 학습할 수 있도록 한다.
• 비디오 인식에서 노이즈가 있거나 잘못된 대응 제안에 대해 강건성을 향상시킨다.

제안 방법

• CP 모듈은 비디오 특징 텐서를 C차원 정신적 공간 내 T×H×W개의 점으로 간주한다.
• 각 점(특징)에 대해 정신적 특징 공간에서 L2 거리로 다른 프레임의 k개의 가장 가까운 이웃(잠재적 대응 관계)을 식별한다.
• k개의 대응 쌍 각각은 공유된 다층 퍼셉트론(MLP)을 통해 독립적으로 처리되어 대응 임베딩을 계산한다.
• k개의 임베딩에 대해 최대 풀링을 적용하여 가장 두드러진 대응 관계를 선택함으로써 약한 또는 잘못된 제안을 걸러낸다.
• 스패티오토폴로지컬 위치 정보(시간적 및 공간적 오프셋)를 통합하여 운동 구조를 유지하고 시간 일관성을 보장한다.
• CP 모듈은 CNN 백본에 통합되어 정적 외관과 동적 운동 표현을 함께 학습하며, CPNet 아키텍처를 형성한다.

실험 결과

연구 질문

• RQ1 학습 가능한 대응 집계 메커니즘은 RGB 입력만을 사용하여 비디오의 장거리 운동을 효과적으로 모델링할 수 있는가?
• RQ2 학습 및 추론 중에 노이즈가 있거나 잘못된 대응 제안이 있을 경우 CP 모듈은 어떻게 대처하는가?
• RQ3 점군 기반 대응 모듈은 비디오 인식에서 국소적 또는 전역적 어텐션 메커니즘보다 어느 정도 우월한가?
• RQ4 CP 모듈은 다양한 비디오 인식 아키텍처와 벤치마크로 일반화될 수 있는가?
• RQ5 픽셀 수준의 광학 흐름과 비교해 정신 수준의 대응 학습은 운동 역학을 얼마나 잘 포착하는가?

주요 결과

• CPNet은 Something-Something와 Jester 데이터셋에서 기존의 RGB 전용 방법보다 더 적은 파라미터로도 최고 성능을 기록한다.
• Kinetics 데이터셋에서 CPNet은 기존의 방법을 뛰어넘으며, 행동 인식에서 강력한 일반화 능력과 성능 향상을 보여준다.
• CP 모듈은 잘못된 대응 제안에 대해 강건성을 보이며, 최대 풀링이 정보가 없는 또는 잘못된 매칭을 효과적으로 걸러낸다.
• 시각화 결과에서 CP 모듈이 주로 움직이는 물체에 해당하는 특징을 수정하는 것으로 나타나, 효과적인 운동 모델링이 이루어지고 있음을 확인할 수 있다.
• 명시적인 운동 감독 없이도 CP 모듈은 정신적 유사도에 기반해 의미 있는 대응 관계를 제안하는 것을 학습한다.
• CPNet은 C3D, NL-Net, TRN와 같은 기존 아키텍처로 축소되거나 일반화될 수 있어 유연성과 이론적 기반을 입증한다.