[논문 리뷰] JGR-P2O: Joint Graph Reasoning based Pixel-to-Offset Prediction Network for 3D Hand Pose Estimation from a Single Depth Image

Linpu Fang, Xingyan Liu외 3명|arXiv (Cornell University)|2020. 07. 09.

Human Pose and Action Recognition참고 문헌 50인용 수 5

한 줄 요약

이 논문은 단일 깊이 영상에서 3D 손 자세 추정을 위한 새로운 2D 완전 컨volution 네트워크인 JGR-P2O를 제안한다. 이는 상하좌우 관절 간의 상관관계를 모델링하고 국소적 특징 표현을 향상시키기 위해 그래프 컨volution 네트워크(GCN)-기반의 관절 그래프 추론 모듈을 활용하며, 픽셀에서 오프셋 예측 방식을 사용해 엔드 투 엔드 관절 회귀를 구현한다. 이 방법은 오직 140만 개의 파라미터만을 사용하면서도 상태의 기술(SOTA) 수준의 정확도를 달성하며, 단일 GPU에서 111.2 fps로 실행된다.

ABSTRACT

State-of-the-art single depth image-based 3D hand pose estimation methods are based on dense predictions, including voxel-to-voxel predictions, point-to-point regression, and pixel-wise estimations. Despite the good performance, those methods have a few issues in nature, such as the poor trade-off between accuracy and efficiency, and plain feature representation learning with local convolutions. In this paper, a novel pixel-wise prediction-based method is proposed to address the above issues. The key ideas are two-fold: a) explicitly modeling the dependencies among joints and the relations between the pixels and the joints for better local feature representation learning; b) unifying the dense pixel-wise offset predictions and direct joint regression for end-to-end training. Specifically, we first propose a graph convolutional network (GCN) based joint graph reasoning module to model the complex dependencies among joints and augment the representation capability of each pixel. Then we densely estimate all pixels' offsets to joints in both image plane and depth space and calculate the joints' positions by a weighted average over all pixels' predictions, totally discarding the complex postprocessing operations. The proposed model is implemented with an efficient 2D fully convolutional network (FCN) backbone and has only about 1.4M parameters. Extensive experiments on multiple 3D hand pose estimation benchmarks demonstrate that the proposed method achieves new state-of-the-art accuracy while running very efficiently with around a speed of 110fps on a single NVIDIA 1080Ti GPU.

연구 동기 및 목표

• 밀도 있는 예측 기반 기존 3D 손 자세 추정 방법들에서 정확도와 효율성 간의 상충 관계를 해결하기 위해.
• 관절 간의 상관관계와 픽셀과 관절 간의 관계를 명시적으로 모델링하여 국소적 특징 표현을 향상시키기 위해.
• 엔드 투 엔드 학습 프레임워크 내에서 밀도 있는 픽셀 단위 오프셋 예측과 직접적인 관절 회귀를 통합함으로써 비미분 가능한 후처리 작업을 제거하기 위해.
• 최소한의 파라미터를 가진 경량 2D 완전 컨volution 네트워크를 사용하여 높은 효율성과 정확도를 달성하기 위해.

제안 방법

• 21개의 손 관절 간의 상관관계를 모델링하여 국소적 특징 표현을 향상시키기 위해 GCN 기반의 관절 그래프 추론(JGR) 모듈을 도입한다.
• 각 픽셀에서 모든 관절로의 2D 이미지 평면 및 깊이 공간 오프셋을 추정하기 위해 픽셀에서 오프셋 예측(P2O) 모듈을 사용한다. 이는 조밀하고, 비가역적이지 않은 회귀를 가능하게 한다.
• 모든 픽셀 예측을 가중 평균을 통해 조합하여 최종 관절 위치를 추론함으로써 복잡한 후처리를 피한다.
• 고속 추론을 위해 오직 140만 개의 파라미터만을 가진 2D 완전 컨volution 네트워크(FCN) 백본을 활용한다.
• 밀도 있는 오프셋 예측과 직접적인 관절 회귀를 하나의 엔드 투 엔드 학습 프로세스로 통합함으로써 최적화를 향상시키고 양자화 오차를 감소시킨다.
• 깊이 영상의 2.5차원 성격을 활용하여 통합 프레임워크 내에서 2D 좌표와 깊이 값을 함께 회귀한다.

실험 결과

연구 질문

• RQ1 관절 간의 상호의존성을 모델링하면 3D 손 자세 추정을 위한 국소적 특징 표현이 향상될 수 있는가?
• RQ2 엔드 투 엔드 픽셀에서 오프셋 예측 방식이 비가역적인 후처리 작업이 필요 없도록 하고 정확도를 향상시킬 수 있는가?
• RQ3 그래프 추론을 통합한 경량 2D FCN가 고속으로도 최첨단 성능을 달성할 수 있는가?
• RQ4 기존의 밀도 있는 예측 및 직접 회귀 기반 접근법과 비교했을 때, 제안된 방법은 정확도와 효율성 측면에서 어떻게 비교되는가?

주요 결과

• ICVL 데이터셋에서 JGR-P2O는 평균 3D 오차 6.02mm를 기록하여 이전의 모든 방법들을 능가하는 최저 수준의 성능을 달성한다.
• NYU 데이터셋에서 이 방법은 평균 오차 8.29mm를 기록하여 모든 최첨단 방법들 중에서 가장 낮은 오차를 기록한다.
• 단일 NVIDIA 1080Ti GPU에서 111.2 fps의 추론 속도를 달성하여 이전의 밀도 있는 예측 방법들보다 훨씬 빠르다.
• 오직 140만 개의 파라미터만을 사용함으로써 JGR-P2O는 최첨단 방법 중에서 가장 파라미터 효율성이 높으며, 더 큰 모델들보다도 빠르고 정확도가 높다.
• NYU 데이터셋에서 JGR 모듈은 주의 메커니즘 대비 평균 3D 오차를 0.43mm 감소시켜 국소적 특징 학습에서의 효과성을 입증한다.
• P2O 모듈은 비가역 히트맵 기반 베이스라인 대비 오차를 0.4mm 감소시켜 오프셋 추정에서의 우수성을 확인한다.