[논문 리뷰] Towards High Performance Human Keypoint Detection

Jing Zhang, Zhe Chen외 1명|arXiv (Cornell University)|2020. 02. 03.

Video Surveillance and Tracking Methods참고 문헌 40인용 수 8

한 줄 요약

이 논문은 고성능 인간 관절 검출을 위한 계단식 컨텍스트 믹서(Cascaded Context Mixer, CCM) 네트워크를 제안하며, 공간적 및 채널 컨텍스트를 통합하여 가림되거나 보이지 않는 관절의 추론을 향상시킨다. 공동 학습과 지식 정복을 통해 무라벨 데이터를 활용하고, 서브픽셀 정밀도 기법을 적용함으로써, MS COCO에서 최신 기준 성능(SOTA)을 달성한다. 단일 모델이 2018년 경연 대회 수상자와 동일한 성능을 보이며, 앙상블 모델은 새로운 SOTA 기록을 수립한다.

ABSTRACT

Human keypoint detection from a single image is very challenging due to occlusion, blur, illumination and scale variance. In this paper, we address this problem from three aspects by devising an efficient network structure, proposing three effective training strategies, and exploiting four useful postprocessing techniques. First, we find that context information plays an important role in reasoning human body configuration and invisible keypoints. Inspired by this, we propose a cascaded context mixer (CCM), which efficiently integrates spatial and channel context information and progressively refines them. Then, to maximize CCM's representation capability, we develop a hard-negative person detection mining strategy and a joint-training strategy by exploiting abundant unlabeled data. It enables CCM to learn discriminative features from massive diverse poses. Third, we present several sub-pixel refinement techniques for postprocessing keypoint predictions to improve detection accuracy. Extensive experiments on the MS COCO keypoint detection benchmark demonstrate the superiority of the proposed method over representative state-of-the-art (SOTA) methods. Our single model achieves comparable performance with the winner of the 2018 COCO Keypoint Detection Challenge. The final ensemble model sets a new SOTA on this benchmark.

연구 동기 및 목표

• 스케일 변동성, 조명 변화, 컨텍스트 모호성으로 인해 가려지거나 흐릿하거나 보이지 않는 인간 관절을 검출하는 데 도전하는 것.
• 체계적으로 공간적 및 채널 컨텍스트를 융합하여 신체 구성 정보를 추론함으로써 특징 표현을 향상시키는 것.
• 동일한 애너테이션 형식이 필요하지 않은 무라벨 및 이질적인 외부 데이터셋(예: AI Challenger)을 활용하여 모델의 일반화 능력을 향상시키는 것.
• 정답(픽셀/서브픽셀)과 히트맵 예측 간의 스케일 불일치를 체계적인 서브픽셀 후처리 기법을 통해 줄이는 것.
• 보이지 않는 관절 애너테이션은 보이는 관절 애너테이션보다 더 강력한 지도 신호를 제공함을 입증하여, 가림에 대한 모델의 강인성을 향상시키는 것.

제안 방법

• 디코더에 계단식 컨텍스트 믹서(Cascaded Context Mixer, CCM) 모듈을 제안하여 공간적 및 채널 컨텍스트 특징을 점진적으로 융합함으로써 관절 위치 추정을 향상시킨다.
• 학습 및 테스트 분포를 일치시키기 위해 어려운, 가려진 사람 인스턴스를 식별하고 강조하는 하드-negative 사람 검출 마이닝 전략을 도입한다.
• 무라벨 데이터(예: MS COCO 무라벨 세트) 및 이질적인 데이터셋(예: AI Challenger)을 활용하기 위해 공동 학습 전략과 지식 정복을 적용한다. 이들 데이터셋은 다른 관절 수를 가진다.
• 추론 중에 네 단계의 서브픽셀 정밀도 기법을 순차적으로 적용한다: 히트맵 정밀도 향상, 관절 오프셋 회귀, 반복적 정밀도 향상, 서브픽셀 정확도를 갖춘 비최대 억제 처리.
• 히트맵 기반 지도 학습을 사용하는 표준 인코더-디코더 백본(예: ResNet)을 사용하며, CCM이 다중 스케일에서 특징 표현을 향상시킨다.
• 완전한 애너테이션으로 훈련된 티처 모델에서 학생 모델로의 정복을 통해 다양한 포즈와 모호한 자세에 대한 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 공간적 및 채널 컨텍스트를 동시에 모델링하면 보이지 않거나 가려진 관절의 검출 성능을 향상시킬 수 있는가?
• RQ2 공동 학습과 지식 정복을 통해 무라벨 데이터를 통합하면 다양한 포즈와 도전적인 자세에 대한 모델 일반화 능력이 향상되는가?
• RQ3 보이지 않는 관절 애너테이션의 포함 여부가 보이는 관절 애너테이션과 비교해 모델 성능에 어떤 영향을 미치는가?
• RQ4 서브픽셀 후처리 기법은 정답과 히트맵 예측 간의 스케일 불일치를 어느 정도 줄일 수 있는가?
• RQ5 직접적인 지도 신호 없이도, 관절이 보이지 않는 경우에 컨텍스트만으로도 신체 구성 지식을 학습할 수 있는가?

주요 결과

• 단일 모델을 사용해 MS COCO minival에서 72.5 AP를 기록하며, 2018년 COCO 관절 검출 경연 대회 수상자와 동일한 성능을 달성한다.
• 앙상블 모델은 MS COCO test-dev 세트에서 73.7 AP를 기록하여 이전의 SOTA 방법을 초월하며 새로운 SOTA 성능을 수립한다.
• 보이지 않는 관절 애너테이션은 동일한 수의 보이는 관절 애너테이션보다 더 큰 성능 향상을 이끌어내며, 보이지 않는 애너테이션을 사용할 경우 1.2 AP 향상이 관찰되었다.
• 직접적인 지도 학습 없이도 보이지 않는 관절에서 40.2 AP를 기록하여, 모델이 가려진 관절을 추론하기 위해 컨텍스트 특징을 학습하고 있음을 시사한다.
• 성능 향상이 10개 이하의 애너테이션 관절을 가진 인스턴스(즉, 심한 가림)에서 가장 크게 발생함을 확인하여, 본 방법이 심한 가림 상황에서 효과적임을 입증한다.
• 서브픽셀 정밀도 기법들이 함께 적용될 경우 국소화 오차를 줄여 검출 정확도를 향상시키며, 특히 저해상도 또는 모호한 영역에서 두드러진 효과를 보인다.