[논문 리뷰] Cascade Feature Aggregation for Human Pose Estimation

Zhihui Su, Ming Ye외 3명|arXiv (Cornell University)|2019. 02. 21.

Human Pose and Action Recognition참고 문헌 40인용 수 32

한 줄 요약

이 논문은 Cascade Feature Aggregation(CFA)을 제안합니다. CFA는 다수의 hourglass 네트워크를 계단식으로 연결하고 서로 다른 단계에서 특징을 집계하여 사람 자세 추정에서 자세 변 variation, 가림, 저해상도에 대한 강인성을 높입니다.

ABSTRACT

Human pose estimation plays an important role in many computer vision tasks and has been studied for many decades. However, due to complex appearance variations from poses, illuminations, occlusions and low resolutions, it still remains a challenging problem. Taking the advantage of high-level semantic information from deep convolutional neural networks is an effective way to improve the accuracy of human pose estimation. In this paper, we propose a novel Cascade Feature Aggregation (CFA) method, which cascades several hourglass networks for robust human pose estimation. Features from different stages are aggregated to obtain abundant contextual information, leading to robustness to poses, partial occlusions and low resolution. Moreover, results from different stages are fused to further improve the localization accuracy. The extensive experiments on MPII datasets and LIP datasets demonstrate that our proposed CFA outperforms the state-of-the-art and achieves the best performance on the state-of-the-art benchmark MPII.

연구 동기 및 목표

• 외관 변화, 가림 및 저해상도 때문에 발생하는 사람 자세 추정의 도전 과제를 해결한다.
• 깊은 CNN에서 얻은 고수준 의미 정보를 활용하여 정확도를 향상시킨다.
• 다중 단계의 특징을 모아 더 풍부한 맥락을 제공하는 계단식 아키텍처를 개발한다.
• 다른 단계의 결과를 융합하여 위치 정확도를 향상시킨다.

제안 방법

• 여러 개의 hourglass 네트워크를 계단식으로 연결하여 Cascade Feature Aggregation(CFA)을 도입한다.
• 다른 단계의 특징을 집계하여 풍부한 맥락 정보를 얻는다.
• 단계 간 결과를 융합하여 자세 위치 정확도를 향상시킨다.
• 도전적인 조건에서도 강인한 특징 표현을 제공하기 위해 심층 합성곱 신경망을 활용한다.

실험 결과

연구 질문

• RQ1 가림 및 저해상도에서 멀티스테이지 특징 집기를 포함한 hourglass 네트워크의 연쇄가 자세 추정 정확도를 향상시킬 수 있는가?
• RQ2 여러 깊이에서의 특징을 결합하는 것이 자세 변화에 대한 강인성을 향상시키는가?
• RQ3 MPII 및 LIP 데이터셋에서 CFA가 최첨단 방법과 어떻게 비교되는가?

주요 결과

• CFA가 MPII 벤치마크에서 최첨단 방법을 능가한다.
• 이 방법은 맥락 특징 집계를 통한 자세, 부분 가림 및 저해상도에 대한 강인성을 보여준다.
• 다른 단계의 결과 융합은 위치 정확도를 더욱 향상시키는 것으로 나타났다.