[논문 리뷰] Point-to-Pose Voting based Hand Pose Estimation using Residual Permutation Equivariant Layer

Shile Li, Dongheui Lee|arXiv (Cornell University)|2018. 12. 05.

Human Pose and Action Recognition참고 문헌 35인용 수 4

한 줄 요약

이 논문은 순서가 없는 3D 포인트 클라우드를 대상으로, KNN나 법선 추정과 같은 전처리가 필요 없는 잔차 순열 등변성 레이어(ResidualPEL)를 사용하는 새로운 포인트 투 포즈 투표 기반 손 자세 추정 방법을 제안한다. 이 방법은 Hands2017 챌린지 데이터셋에서 평균 관절 오차 9.82 mm의 최신 기술 수준(SOTA) 성능을 달성하며, 학습된 중요도 가중치를 통해 자기지도 학습 기반의 손 분할도 가능하다.

ABSTRACT

Recently, 3D input data based hand pose estimation methods have shown state-of-the-art performance, because 3D data capture more spatial information than the depth image. Whereas 3D voxel-based methods need a large amount of memory, PointNet based methods need tedious preprocessing steps such as K-nearest neighbour search for each point. In this paper, we present a novel deep learning hand pose estimation method for an unordered point cloud. Our method takes 1024 3D points as input and does not require additional information. We use Permutation Equivariant Layer (PEL) as the basic element, where a residual network version of PEL is proposed for the hand pose estimation task. Furthermore, we propose a voting based scheme to merge information from individual points to the final pose output. In addition to the pose estimation task, the voting-based scheme can also provide point cloud segmentation result without ground-truth for segmentation. We evaluate our method on both NYU dataset and the Hands2017Challenge dataset. Our method outperforms recent state-of-the-art methods, where our pose accuracy is currently the best for the Hands2017Challenge dataset.

연구 동기 및 목표

• 포인트 순서에 불변이며 KNN나 표면 법선 추정과 같은 전처리가 필요 없는 3D 손 자세 추정을 위한 딥러닝 방법을 개발한다.
• 최대 풀링에 의존하여 局부 공간 정보를 상실하는 PointNet 기반 방법의 한계를 해결한다.
• 분할 지도 데이터 없이도 3D 포인트 클라우드에서 손 자세와 분할을 엔드 투 엔드로 학습할 수 있도록 한다.
• 최소한의 메모리와 계산 자원으로도 높은 정확도와 효율성을 달성하는 손 자세 추정을 실현한다.

제안 방법

• 포인트 순서에 대해 등변성 특성을 가지며 局부 공간 구조를 유지하는 특징 학습이 가능한 핵심 구성 요소로 잔차 순열 등변성 레이어(ResidualPEL)를 사용한다.
• 각 포인트에서의 국소 예측을 종합하여 글로벌 손 자세를 도출하는 포인트 투 포즈 투표 기반 방식을 도입하며, PointNet에서 사용하는 최대 풀링 레이어를 대체한다.
• 투표 메커니즘에서 유도된 중요도 가중치를 활용해 분할 지도 데이터 없이도 자기지도 학습 기반의 손 부분 분할을 생성한다.
• 바이트화 없이 그대로 1024개의 3D 포인트 입력을 처리하여 전체 공간 해상도를 유지한다.
• PEL 블록 내부에 잔차 신경망 구조를 도입하여 학습 깊이와 특징 표현 능력을 향상시킨다.
• 3D 포인트 클라우드 좌표와 진짜 관절 위치만을 사용하여 모델을 엔드 투 엔드로 학습시킨다.

실험 결과

연구 질문

• RQ1 순서 등변성 딥러닝 아키텍처가 PointNet 기반 방법에 비해 3D 손 자세 추정 정확도를 향상시킬 수 있는가?
• RQ2 투표 기반 융합 메커니즘이 포인트 클라우드 기반 손 자세 추정에서 글로벌 특징 융합에 있어 최대 풀링을 능가하는가?
• RQ3 투표 메커니즘에서 유도된 중요도 가중치가 분할 지도 레이블 없이도 고품질의 자기지도 학습 기반 손 부분 분할을 가능하게 하는가?
• RQ4 제안된 방법이 기존 3D 기반 손 자세 추정 방법보다 더 낮은 메모리 사용량과 추론 비용으로 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 Hands2017 챌린지 데이터셋에서 평균 관절 오차 9.82 mm를 기록하였으며, 제출 당시 기록된 바 중 가장 낮은 수준이다.
• 미리 보지 않은 주체에 대해서도 평균 관절 오차 12.04 mm를 달성하여, 명시적 정규화 없이도 강력한 일반화 능력을 보였다.
• NYU 데이터셋에서 단일 시야 조건에서는 두 번째로 뛰어난 성능을 기록하였고, 세 개의 시야를 사용할 경우 최근의 모든 최신 기술 수준 방법들을 능가했다.
• 모델 크기는 단지 38–44 MB로, 3D CNN 기반 방법(예: 420 MB)에 비해 훨씬 작아 효율적인 배포가 가능하다.
• 단일 중급 GPU에서 프레임당 10.7–12.5 ms로 추론가능하여, 더 낮은 성능의 하드웨어를 사용함에도 불구하고 다른 SOTA 방법보다 빠른 추론 속도를 확보했다.
• 중요도 가중치를 활용한 자기지도 분할은 자가 음영이 발생하는 경우조차도 손가락과 손 부위의 명확하고 의미 있는 분할 결과를 생성하였다. 이는 분할 지도 데이터 없이도 가능했다.