[논문 리뷰] Hand Pose Estimation through Semi-Supervised and Weakly-Supervised Learning

Natalia Neverova, Christian Wolf외 2명|arXiv (Cornell University)|2015. 11. 20.

Human Pose and Action Recognition참고 문헌 49인용 수 6

한 줄 요약

이 논문은 손 자세 추정을 위한 준감독 및 약한 감독 기반 딥러닝 방법을 제안하며, 원시적인 깊이 데이터와 부분 분할 중간 표현을 융합하여 관절 회귀 정확도를 향상시킨다. 풍부하게 레이블링된 합성 데이터와 관절 위치 레이블만 있는 진짜 이미지를 활용하여, 모델은 합성 사전에 대한 패치 단위 정렬을 통해 고해상도 분할을 학습하며, 직접 회귀 대비 NYU 데이터셋에서 2D 관절 오차를 15.7% 감소시킨다.

ABSTRACT

We propose a method for hand pose estimation based on a deep regressor trained on two different kinds of input. Raw depth data is fused with an intermediate representation in the form of a segmentation of the hand into parts. This intermediate representation contains important topological information and provides useful cues for reasoning about joint locations. The mapping from raw depth to segmentation maps is learned in a semi/weakly-supervised way from two different datasets: (i) a synthetic dataset created through a rendering pipeline including densely labeled ground truth (pixelwise segmentations); and (ii) a dataset with real images for which ground truth joint positions are available, but not dense segmentations. Loss for training on real images is generated from a patch-wise restoration process, which aligns tentative segmentation maps with a large dictionary of synthetic poses. The underlying premise is that the domain shift between synthetic and real data is smaller in the intermediate representation, where labels carry geometric and topological meaning, than in the raw input domain. Experiments on the NYU dataset show that the proposed training method decreases error on joints over direct regression of joints from depth data by 15.7%.

연구 동기 및 목표

• 원시적인 깊이 입력과 구조화된 중간 표현(부분 분할)을 융합하여 손 자세 추정 정확도를 향상시키기.
• 관절 위치 정보만을 사용하여 밀도 높은 분할 레이블이 없는 진짜 깊이 데이터에서 학습할 수 있도록 하기.
• 합성 데이터와 진짜 데이터 간의 도메인 슬립을 줄이기 위해 중간 표현을 공유 잠재 공간에서 학습하기.
• 구조화된 중간 표현이 직접 관절 회귀보다 더 강력한 기하학적 및 위상적 단서를 제공하는지 입증하기.
• 진짜 이미지에서 예측된 분할을 대규모 합성 부분 맵 사전과 정렬하는 패치 단위 복원 프로세스 개발하기.

제안 방법

• 딥 레거서는 원시 깊이 입력과 부분 분할 맵을 중간 표현으로 융합하여 관절 위치를 예측하도록 훈련된다.
• 분할 네트워크는 밀도 높은 레이블링이 된 합성 데이터를 사용한 준감독 방식으로 학습되며, 진짜 이미지에서 예측된 패치를 합성 패치 사전에 정렬함으로써 약한 감독을 받는다.
• 패치 단위 복원은 진짜 이미지에서의 일시적인 분할 맵을 기하학적 및 위상적 일관성을 감독 신호로 사용하여 합성 데이터의 가장 유사한 패치와 정렬한다.
• 이 방법은 레이블이 인접성, 위상 구조, 기하학적 특성을 가지는 부분 분할의 구조화된 레이블 공간을 활용하여 약한 감독 학습을 이끈다.
• 훈련에는 두 가지 데이터셋을 사용한다: 밀도 높은 픽셀 단위 부분 분할 레이블이 있는 합성 깊이 이미지와 관절 위치 레이블만 있는 진짜 깊이 이미지.
• 최종 모델는 실시간으로 추론하며(1회 손에 대해 31–58ms), 역기구학 또는 후처리에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 부분 분할과 같은 구조화된 중간 표현이 손 자세 추정을 위한 딥 레거서의 정확도를 향상시킬 수 있는가?
• RQ2 관절 위치 레이블만을 사용하여 진짜 깊이 이미지에서 밀도 높은 분할 레이블 없이 분할 네트워크를 훈련시킬 수 있는가?
• RQ3 원시 입력 공간이 아닌 중간 표현 공간에서 운영할 경우, 합성 데이터와 진짜 데이터 간의 도메인 슬립이 더 다루기 쉬운가?
• RQ4 진짜 데이터의 분할 맵을 합성 사전에 패치 단위로 정렬하는 것이 고해상도 부분 분할 예측을 위한 효과적인 약한 감독 신호가 될 수 있는가?
• RQ5 깊이와 분할을 융합하는 것이 직접 회귀 대비 2D 및 3D 관절 위치 오차를 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 NYU 손 자세 추정 데이터셋에서 직접 회귀 대비 2D 평균 관절 오차를 15.7% 감소시켰다.
• 역기구학 또는 후처리를 사용하지 않은 딥러닝 방법 중 최고 성능을 기록했다.
• 약한 감독 학습 파이프라인을 통해 관절 위치 레이블만으로도 진짜 데이터에서 고해상도 분할 예측이 가능했다.
• 패치 단위 복원 프로세스는 진짜 이미지 패치를 대규모 합성 부분 맵 사전과 정렬하여 도메인 슬립을 효과적으로 줄였다.
• 모델는 실시간으로 작동하며, 24×24 분할 해상도일 경우 31ms, 48×48 해상도일 경우 58ms의 추론 시간을 기록했다.
• 2D 및 3D 위치 정확도 측면에서 순수 감독 기반 기준 모델과 비딥러닝 방법 모두를 초월했다.