[논문 리뷰] Temporal Feature Alignment and Mutual Information Maximization for Video-Based Human Pose Estimation

Zhenguang Liu, Runyang Feng외 5명|arXiv (Cornell University)|2022. 03. 29.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 비디오 기반 인간 자세 추정을 위한 새로운 프레임워크인 FAMI-Pose를 제안한다. 이는 시간적 특징을 프레임 간에 동기화하기 위해 군집에서 세분으로의 특징 정렬을 사용하며, 정보 이론적 손실을 통해 임무 관련 상호정보량을 최대화한다. 이 방법은 상태 기반 성능을 달성하여 PoseTrack2017에서 1위를 기록하고, Sub-JHMDB에서 새로운 SOTA를 수립하며, 빠른 운동과 가림을 효과적으로 다루기 위해 개선된 특징 정렬과 보완적 특징 추출을 통해 성능을 높인다.

ABSTRACT

Multi-frame human pose estimation has long been a compelling and fundamental problem in computer vision. This task is challenging due to fast motion and pose occlusion that frequently occur in videos. State-of-the-art methods strive to incorporate additional visual evidences from neighboring frames (supporting frames) to facilitate the pose estimation of the current frame (key frame). One aspect that has been obviated so far, is the fact that current methods directly aggregate unaligned contexts across frames. The spatial-misalignment between pose features of the current frame and neighboring frames might lead to unsatisfactory results. More importantly, existing approaches build upon the straightforward pose estimation loss, which unfortunately cannot constrain the network to fully leverage useful information from neighboring frames. To tackle these problems, we present a novel hierarchical alignment framework, which leverages coarse-to-fine deformations to progressively update a neighboring frame to align with the current frame at the feature level. We further propose to explicitly supervise the knowledge extraction from neighboring frames, guaranteeing that useful complementary cues are extracted. To achieve this goal, we theoretically analyzed the mutual information between the frames and arrived at a loss that maximizes the task-relevant mutual information. These allow us to rank No.1 in the Multi-frame Person Pose Estimation Challenge on benchmark dataset PoseTrack2017, and obtain state-of-the-art performance on benchmarks Sub-JHMDB and Pose-Track2018. Our code is released at https://github. com/Pose-Group/FAMI-Pose, hoping that it will be useful to the community.

연구 동기 및 목표

• 비디오 기반 인간 자세 추정에서 핵심 프레임과 보조 프레임 간의 공간적 비일치 문제를 해결하기 위해.
• 기존 방법이 정렬되지 않은 컨텍스트 집합과 단순한 MSE 감독에 의존하여 유용한 시간적 신호를 활용하지 못하는 한계를 극복하기 위해.
• 정보 이론적 목적 함수를 사용해 이웃 프레임으로부터의 정보 증가를 명시적으로 감독함으로써, 임무 관련 정보 추출을 향상시키기 위해.
• 원리적인 특징 정렬과 지식 distillation을 통해 빠른 운동이나 자세 가림과 같은 어려운 상황에서의 강건성을 향상시키기 위해.
• 통합적이고 이론적으로 탄탄한 프레임워크를 사용해 다중 프레임 인간 자세 추정의 새로운 SOTA 기준을 설정하기 위해.

제안 방법

• 프레임워크는 군집에서 세분으로의 변형 전략을 사용한다: 먼저 핵심 프레임과 보조 프레임 간의 대규모 공간 이동을 교정하기 위해 전역 변환 모듈(GTM)을 적용한다.
• 그 후 국소 校정 모듈(LCM)이 적응적인 픽셀 단위의 특징 조절을 수행하여 국소 수준에서 정렬을 정밀화한다.
• 핵심 프레임 특징과 정렬된 보조 프레임 특징 간의 상호정보량을 최대화하기 위해 정보 이론적 손실을 도입한다. 이는 보완적인 시간적 신호를 효과적으로 추출하는 데 기여한다.
• 상호정보량 목적 함수는 이론적 분석에서 유도되며, 네트워크가 임무 관련 표현을 학습하는 데 도움이 되는 중간 감독 역할을 한다.
• 표준 자세 추정 손실과 제안된 MI 기반 손실의 조합을 통해 엔드 투 엔드로 학습되며, 정렬과 특징 학습의 공동 최적화를 가능하게 한다.
• 프레임의 수가 변할 수 있는 시간 창을 지원하여, 탄력적인 컨텍스트 모델링이 가능하다.

Figure 1 : State-of-the-art methods like PoseWarper and DCPose directly aggregate unaligned contexts from neighboring frames, which may fail for scenes with fast motion or pose occlusion. We perform temporal feature alignment between each supporting frame and the key frame, delivering robust pose es

실험 결과

연구 질문

• RQ1 군집에서 세분으로의 특징 정렬이 비디오 기반 인간 자세 추정에서 정확도 향상에 상당한 기여를 할 수 있는가?
• RQ2 상호정보량 최대화를 통해 이웃 프레임으로부터의 정보 증가를 명시적으로 감독하면, 기존의 표준 MSE 감독보다 성능이 향상되는가?
• RQ3 핵심 프레임과 보조 프레임 간의 특징 비일치가 빠른 운동이나 가림 상황에서 자세 추정에 어떤 영향을 미치는가?
• RQ4 보조 프레임의 수를 늘릴수록 성능 향상 정도는 어느 정도이며, 이는 정렬과 MI 감독에 의해 어떻게 향상되는가?
• RQ5 이론적으로 탄탄한 정보 이론적 목적 함수가 히وري스틱하거나 암묵적인 운동 모델링보다 우수한 성능을 낼 수 있는가?

주요 결과

• FAMI-Pose는 PoseTrack2017 검증 세트에서 mAP 84.8을 기록하여 멀티프레임 인체 자세 추정 챌린지에서 1위를 차지했다.
• 전역 변환 모듈만으로도 HRNet-W48 대비 mAP가 5.6점 향상되었으며, 이는 이전 SOTA인 DCPose의 82.8 mAP와 동일한 성능을 달성했다.
• 국소 校정 모듈을 추가함으로써 mAP는 84.0으로 상승하여 세분화된 정렬의 이점이 입증되었다.
• 상호정보량 손실을 통합함으로써 mAP가 추가로 0.8점 상승하여, 이 보조 감독의 효과성이 확인되었다.
• 보조 프레임 수가 늘어날수록 성능이 단조롭게 향상됨: N={-1}일 때 mAP 82.8에서 N={-2,-1,1,2}일 때 mAP 84.8로 상승하여 확장된 시간적 컨텍스트의 가치를 입증했다.
• 시각적 비교 결과, FAMI-Pose는 운동 왜곡과 자세 가림 상황에서 HRNet-W48, PoseWarper, DCPose보다 우수한 성능을 보였으며, 손목과 발목 키포인트 검출 오류가 적었다.

Figure 2 : Overall pipeline of our FAMI-Pose framework. The goal is to detect the pose of person $i$ in the key frame $I_{t}^{i}$ , with the assistance of its supporting frames. For clarity of illustration, we only show a single supporting frame $I_{t+\delta}^{i}$ in this figure. We first extract th