[논문 리뷰] Exploiting Offset-guided Network for Pose Estimation and Tracking

Rui Zhang, Zheng Zhu외 5명|arXiv (Cornell University)|2019. 01. 01.

Human Pose and Action Recognition인용 수 3

한 줄 요약

이 논문은 히트맵 오프셋을 활용하여 양자화 오차를 줄임으로써 인간 자세 추정 및 추적 성능을 향상시키는 새로운 융합 전략인 오프셋 가이드 네트워크(OGN)를 제안한다. 두 단계 추정 기반 자세 추정 및 Mask R-CNN에 오프셋 가이드를 통합하고, 탐지 박스를 탐욕적으로 생성하는 전략과 비율 일관성 학습을 적용함으로써, COCO 및 PoseTrack 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Human pose estimation has witnessed a significant advance thanks to the development of deep learning. Recent human pose estimation approaches tend to directly predict the location heatmaps, which causes quantization errors and inevitably deteriorates the performance within the reduced network output. Aim at solving it, we revisit the heatmap-offset aggregation method and propose the Offset-guided Network (OGN) with an intuitive but effective fusion strategy for both two-stages pose estimation and Mask R-CNN. For two-stages pose estimation, a greedy box generation strategy is also proposed to keep more necessary candidates while performing person detection. For mask R-CNN, ratio-consistent is adopted to improve the generalization ability of the network. State-of-the-art results on COCO and PoseTrack dataset verify the effectiveness of our offset-guided pose estimation and tracking.

연구 동기 및 목표

• 히트맵 기반 자세 추정에서 이산적 출력 해상도로 인한 양자화 오차를 해결하기 위해.
• 오프셋 가이드 특징 융합을 통해 두 단계 자세 추정 및 Mask R-CNN의 정확도와 강인성을 향상시키기 위해.
• 필수 제안 박스를 유지하는 탐욕적 전략을 도입함으로써 두 단계 자세 추정의 후보 박스 생성을 향상시키기 위해.
• 다양한 입력 스케일에서의 일반화 능력을 향상시키기 위해 비율 일관성 학습을 통해 Mask R-CNN의 일반화 능력을 향상시키기 위해.
• COCO 및 PoseTrack와 같은 표준 벤치마크에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 히트맵에서 예측된 오프셋을 활용하여 키포인트 정렬을 정밀하게 조정하는 오프셋 가이드 융합 메커니즘을 제안하여, 양자화 오차를 감소시킨다.
• 두 단계 자세 추정에서 더 많은 관련 있는 인체 제안 박스를 유지하면서도 불필요한 후보 수를 최소화하는 탐욕적 박스 생성 전략을 도입한다.
• 다양한 입력 스케일에서의 안정적인 학습과 일반화 능력 향상을 위해 Mask R-CNN에 비율 일관성 학습을 적용한다.
• 두 단계 자세 추정 및 Mask R-CNN 프레임워크에 모두 오프셋 가이드 네트워크를 적응시켜 일관된 성능 향상을 가능하게 한다.
• 히트맵 신뢰도와 공간 오프셋 예측을 조합하여 키포인트 좌표를 정밀하게 보정하기 위해 히트맵-오프셋 집계를 활용한다.
• 오프셋 가이드를 통합하여 검출, 세그멘테이션, 키포인트 예측을 종합적으로 최적화하는 엔드 투 엔드 학습을 수행한다.

실험 결과

연구 질문

• RQ1 오프셋 가이드 융합은 히트맵 기반 키포인트 회귀에서 발생하는 양자화 오차를 줄여 자세 추정 정확도를 향상시킬 수 있는가?
• RQ2 탐욕적 박스 생성 전략은 두 단계 자세 추정에서 인체 제안의 품질과 다양성에 어떤 영향을 미치는가?
• RQ3 비율 일관성 학습은 키포인트 검출 작업에서 Mask R-CNN의 일반화 능력을 어느 정도 향상시키는가?
• RQ4 제안된 오프셋 가이드 네트워크는 두 단계 자세 추정 및 인스턴스 세그멘테이션 프레임워크에 효과적으로 확장될 수 있는가?
• RQ5 오프셋 가이드 통합은 COCO 및 PoseTrack 벤치마크에서 최신 기술 수준의 성능를 달성하는가?

주요 결과

• 제안된 오프셋 가이드 네트워크는 COCO 키포인트 검출 벤치마크에서 기존 방법들을 능가하는 최신 기술 수준의 성능를 달성한다.
• 오프셋 가이드 융합을 사용함으로써 양자화 오차가 크게 감소하여 더 정확한 키포인트 정렬이 가능해진다.
• 탐욕적 박스 생성 전략은 계산 비용을 증가시키지 않으면서도 더 많은 관련 있는 인체 제안 박스를 유지함으로써 검출 품질을 향상시킨다.
• 비율 일관성 학습은 특히 다중 스케일 키포인트 검출에서 Mask R-CNN의 일반화 능력을 향상시킨다.
• PoseTrack 데이터셋에서도 뛰어난 성능를 기록하여 영상 기반 자세 추적에서의 효과성을 입증한다.