[논문 리뷰] Pose Estimation from a Single Depth Image for Arbitrary Kinematic Skeletons

Daniel Ly, Ashutosh Saxena외 1명|arXiv (Cornell University)|2011. 06. 27.

Human Pose and Action Recognition참고 문헌 11인용 수 11

한 줄 요약

이 논문은 단일 깊이 영상에서 임의의 운동학적 뼈대에 대해 학습이 필요 없는 자세 추정 방법을 제안하며, 유전적 알고리즘을 사용하여 관절 각도와 링크 길이를 최적화한다. 심한 자기 음영이 존재하는 상황에서도 높은 정확도를 달성한다 (39-DOF 거북이 모델 99%, 78-DOF 인간형 모델 84%) 하며, 고차원 공간에서 히л-클라이밍 기반 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We present a method for estimating pose information from a single depth image given an arbitrary kinematic structure without prior training. For an arbitrary skeleton and depth image, an evolutionary algorithm is used to find the optimal kinematic configuration to explain the observed image. Results show that our approach can correctly estimate poses of 39 and 78 degree-of-freedom models from a single depth image, even in cases of significant self-occlusion.

연구 동기 및 목표

• 기존 학습이나 도메인 특화 데이터 없이도 임의의 운동학적 뼈대에 대해 자세 추정을 가능하게 하기 위해.
• 뼈대의 구조가 알려져 있거나 표준이 아닌 경우 단일 깊이 영상에서 3D 자세를 추정하는 과제를 해결하기 위해.
• 특정 뼈대에 대해 광범위한 학습이나 인간 주석 데이터에 의존하는 기존 방법의 한계를 극복하기 위해.
• 오직 운동학적 구조와 깊이 영상만을 사용하여 자세를 추론하는 일반화 가능한 모델 기반 접근법을 개발하기 위해.
• 기존 방법이 실패하는 고차원 뼈대와 심한 자기 음영이 존재하는 상황에서의 성능 평가를 위해.

제안 방법

• 자세 추정은 점-모델 거리 기반의 강력한 오차 함수를 최소화하는 비볼록 최적화 문제로 공식화된다.
• 목적 함수는 외곽선에 민감도를 낮추기 위해 로그-바리에어 항을 사용하며, 깊이 영상의 점 간 거리에서 유도된 척도 파라미터 σ를 포함한다.
• 고차원 매개변수 공간(관절 각도와 링크 길이)을 탐색하기 위해 유전적 알고리즘을 사용하여 국소 최소값을 피한다.
• 알고리즘은 표준 유전적 연산자인 관절 매개변수의 무작위 돌연변이와 부모 뼈대 간의 구조 브랜치 재조합을 사용한다.
• 뼈대는 매개변수화된 관절 각도와 길이를 가진 링크의 비순환 그래프로 표현되어 유연한 설정이 가능하다.
• 성능 평가 시 뼈대 모델을 깊이 영상에 투영하고, 각 관측된 점에 대해 가장 가까운 거리의 점을 측정한다.

실험 결과

연구 질문

• RQ1 학습이 필요 없는 방법이 단일 깊이 영상에서 임의의 운동학적 뼈대에 대해 자세를 추정할 수 있는가?
• RQ2 자기 음영이 존재하는 고차원 뼈대(예: 78 DOF)에서 유전적 알고리즘이 얼마나 잘 작동하는가?
• RQ3 복잡한 비볼록 최적화 과정에서 기울기 기반 방법(예: 히л-클라이밍)보다 유전적 접근이 우수한가?
• RQ4 오직 뼈대의 구조와 깊이 영상만 제공되었을 때, 얼마나 정확한 자세를 복원할 수 있는가?
• RQ5 실제 깊이 영상에서 자기 음영으로 인한 노이즈와 데이터 손실에 대해 이 방법은 얼마나 강인한가?

주요 결과

• 유전적 알고리즘은 심한 자기 음영이 존재하는 39-DOF 거북이 모델에 대해 링크 정확도 99%를 달성했다.
• 78-DOF 인간형 모델에 대해서는 링크 배치 정확도 84%를 기록하여 고차원 설정 공간에서의 강인성을 입증했다.
• 5점 척도의 정성적 평가에서 거북이 모델은 4.9점, 인간형 모델은 4.1점을 받았으며, 강한 시각적 정합성을 보였다.
• 고차원 인간형 모델에서 유전적 접근는 히л-클라이밍 기반 방법보다 뚜렷이 뛰어나 국소 최소값에 갇히지 않고 참값에서 크게 벗어나지 않았다.
• 저차원 거북이 모델에서는 유전적 방법이 히르-클라이밍에 비해 약간 우수한 성능를 보였으며, 복잡한 최적화 공간에서의 일관된 우수성을 입증했다.
• 거북이 모델의 경우 이미지당 약 30분, 인간형 모델의 경우 약 70분이 소요되었으며, 각각 10^9번의 목적 함수 평가가 수행되었다.