[논문 리뷰] Human Pose Estimation using Deep Consensus Voting

Ita Lifshitz, Ethan Fetaya외 1명|arXiv (Cornell University)|2016. 03. 27.

Human Pose and Action Recognition참고 문헌 17인용 수 30

한 줄 요약

이 논문은 단일 이미지의 인간 자세 추정을 위한 딥 컨SENSUS 보팅 프레임워크를 제안한다. 여기서 각 이미지 패치는 키포인트 위치를 직접 검출하는 대신, 모든 키포인트 위치에 대해 투표한다. 투표를 집계하고 공감 기반의 공동 확률을 계산함으로써, 이 방법은 정확도를 향상시키며, MPII에서 머리 키포인트에 대해 최신 기술 수준의 성능을 달성하고, LSP에서도 경쟁 가능한 결과를 내는데, 고정된 그래픽 모델에 의존하지 않고 이미지에 따라 달라지는 부분 간 관계를 자연스럽게 모델링한다.

ABSTRACT

In this paper we consider the problem of human pose estimation from a single still image. We propose a novel approach where each location in the image votes for the position of each keypoint using a convolutional neural net. The voting scheme allows us to utilize information from the whole image, rather than rely on a sparse set of keypoint locations. Using dense, multi-target votes, not only produces good keypoint predictions, but also enables us to compute image-dependent joint keypoint probabilities by looking at consensus voting. This differs from most previous methods where joint probabilities are learned from relative keypoint locations and are independent of the image. We finally combine the keypoints votes and joint probabilities in order to identify the optimal pose configuration. We show our competitive performance on the MPII Human Pose and Leeds Sports Pose datasets.

연구 동기 및 목표

• 키포인트 검출 기반 자세 추정의 한계, 즉 희소한 특징 활용과 고정된, 데이터에 독립적인 부분 간 관계를 해결하기 위해.
• 모든 이미지 영역에서 밀도 높은 다중 타겟 투표를 활용하여, 가림이나 변형에 대한 자세 추정의 강건성을 향상시키기 위해.
• 고정된 상대 위치 통계에 의존하지 않고, 공감 보팅을 통해 이미지에 따라 달라지는 공동 키포인트 확률을 학습하기 위해.
• 복잡한 후처리나 광범위한 데이터를 요구하지 않고도, MPII 및 LSP와 같은 벤치마크 데이터셋에서 경쟁 가능한 성능을 달성하기 위해.
• 최소한의 피팅 트레이닝으로 하나의 데이터셋(MPII)에서 다른 데이터셋(LSP)으로 일반화할 수 있도록 하기 위해.

제안 방법

• 각 이미지 패치는 깊은 컨volution 네트워크를 사용하여 각 국소적 맥락에서 키포인트 위치를 예측함으로써, 모든 16개의 키포인트에 대한 상대적 위치에 대해 투표한다.
• 키포인트 신뢰도 맵은 모든 이미지 패치를 통해 투표를 집계하여 형성되며, 이는 고밀도의 이미지 전반의 감독을 가능하게 한다.
• 공감 보팅은 공유된 패치 중심을 기준으로 개별 키포인트 투표 점수를 곱하여 공동 확률을 계산한다. 이는 함께 나타나는 부분의 신뢰성도 반영한다.
• 공동 확률 P(Ki=x, Kj=y)는 ∑y P_y(Ki=x) · P_y(Kj=y)로 계산되며, 높은 값은 여러 패치에서의 일치를 의미한다.
• 학습된 단일항 및 공감 기반 이항 항을 사용한 순차적 에너지 최소화를 통해 자세 추론를 수행한다.
• 테스트 시 이미지 뒤집기 증강 기법을 사용하여 LSP 데이터셋에서 뒤집힌 자세에 대한 성능을 향상시켰다.

실험 결과

연구 질문

• RQ1 국소적 이미지 패치에서 밀도 높은 다중 타겟 투표가 희소한 키포인트 검출에 비해 키포인트 검출 정확도를 향상시킬 수 있는가?
• RQ2 패치 간 공감 보팅이 고정된 데이터 기반 부분 관계보다 더 의미 있는, 이미지에 따라 달라지는 공동 키포인트 확률을 생성할 수 있는가?
• RQ3 제안된 보팅 프레임워크가 최소한의 피팅 트레이닝으로 MPII 데이터셋에서 LSP 데이터셋으로 효과적으로 일반화되는가?
• RQ4 반복적 보정이나 복잡한 그래픽 모델에 의존하지 않고도, MPII 및 LSP와 같은 도전적인 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 표준 L2 회귀에 비해 위치 예측에 로그-폴라 바이닝을 사용할 경우, 강인성과 정확도 측면에서 어떤가?

주요 결과

• 모델은 MPII 단일 인물 데이터셋에서 85.0%의 평균 PCKh 점수를 기록했으며, 머리 키포인트에서 최신 기술 수준의 성능(97.8% PCKh)을 달성했다.
• LSP 데이터셋에서 모델은 PCP 점수 84.2%를 기록했으며, 대부분의 이전 방법보다 뛰어난 성능을 보였고, 확장된 LSP 데이터셋을 사용하지 않았음에도 Pishchulin et al.와 동등한 성능을 내었다.
• 모델는 MPII에서 LSP로 잘 일반화되었으며, 단지 1,000장의 트레이닝 이미지만으로 MPII 모델에서 피팅한 결과 강력한 성능을 보였다.
• 공감 보팅의 사용으로 이미지에 따라 달라지는 공동 확률를 도입하여, 고정된 상대 위치 사전 지식을 넘어서 자세 일관성을 향상시켰다.
• 테스트 시 이미지 뒤집기로 LSP에서 뒤집힌 자세에 대한 성능이 향상되어 방향 변화에 대한 강인성을 입증했다.
• 반복적 보정이나 복잡한 후처리 없이도, 투표 집계와 공감에 의존함으로써 경쟁 가능한 성능를 달성했다.