[논문 리뷰] Towards Good Practices for Deep 3D Hand Pose Estimation

Hengkai Guo, Guijin Wang외 2명|ArXiv.org|2017. 07. 23.

Human Pose and Action Recognition참고 문헌 5인용 수 48

한 줄 요약

이 논문은 단일 깊이 영상에서 3D 손 자세 추정을 위한 영역 앙상블 네트워크(REN)를 제안한다. 이는 ConvNet에서 유도된 공간적으로 분할된 특징 맵에 대해 완전 연결 회귀기의 트리 구조 앙상블을 사용한다. 융합층을 통해 영역별 예측을 통합하고, 데이터 증강 및 스무스 L1 손실을 적용함으로써, REN은 세 가지 공개 손 자세 데이터셋에서 최신 기술 수준의 성능을 달성하며, 손끝 검출 및 인간 자세 추정에서 뛰어난 성능을 보인다.

ABSTRACT

3D hand pose estimation from single depth image is an important and challenging problem for human-computer interaction. Recently deep convolutional networks (ConvNet) with sophisticated design have been employed to address it, but the improvement over traditional random forest based methods is not so apparent. To exploit the good practice and promote the performance for hand pose estimation, we propose a tree-structured Region Ensemble Network (REN) for directly 3D coordinate regression. It first partitions the last convolution outputs of ConvNet into several grid regions. The results from separate fully-connected (FC) regressors on each regions are then integrated by another FC layer to perform the estimation. By exploitation of several training strategies including data augmentation and smooth $L_1$ loss, proposed REN can significantly improve the performance of ConvNet to localize hand joints. The experimental results demonstrate that our approach achieves the best performance among state-of-the-art algorithms on three public hand pose datasets. We also experiment our methods on fingertip detection and human pose datasets and obtain state-of-the-art accuracy.

연구 동기 및 목표

• 기존의 랜덤 포레스트 방법에 비해 성능 향상이 제한된 단일 깊이 영상에서의 3D 손 자세 추정에 있어 딥 ConvNet의 성능 향상을 도모하기 위해.
• 높은 관절 유연성, 자가 음영, 시야 변동성, 열악한 깊이 품질 등의 과제를 효과적인 딥 러닝 기법을 통해 해결하기 위해.
• 높은 정확도를 유지하면서도 계산 비용이 낮은 단일 아키텍처의 다중 ConvNet 앙상블에 대한 대안을 개발하기 위해.
• 제안된 방법의 적용 범위를 손 자세 추정을 넘어서 손끝 검출 및 인간 자세 추정과 같은 연관 작업으로 확장하기 위해.

제안 방법

• 기본 ConvNet의 최종 특징 맵을 여러 공간 영역(예: 4×4 격자)으로 분할하여 국소적 회귀를 가능하게 한다.
• 각 영역는 별도의 완전 연결(FC) 회귀기를 통해 독립적으로 3D 관절 좌표를 예측한다.
• 모든 영역별 회귀기 출력을 연결하여 최종 융합 FC 레이어에 입력함으로써 최종 3D 자세 예측을 도출한다.
• 외곽치에 대해 더 강건한 성능을 확보하기 위해 스무스 L1 손실 함수를 사용하여 엔드 투 엔드로 네트워크를 훈련시킨다.
• 일반화 성능 향상과 과적합 방지를 위해 랜덤 이미지 뒤집기 및 자르기와 같은 데이터 증강 기법을 적용한다.
• 기본 ConvNet에 잔차 연결을 통합하여 훈련 안정성과 특징 학습 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 깊이 영상에서 3D 손 자세 추정에 있어, 영역 기반 앙상블 아키텍처를 가진 단일 딥 ConvNet이 기존 최신 기술 수준의 방법을 초월할 수 있는가?
• RQ2 기존의 모델 앙상블 또는 다중 시점 테스트에 비해, 영역 앙상블 전략은 회귀 기반 손 자세 추정에서 얼마나 효과적인가?
• RQ3 데이터 증강 및 스무스 L1 손실과 같은 훈련 기법이 소규모 손 자세 추정 데이터셋에서 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 REN 아키텍처가 재학습 없이도 손끝 검출 및 인간 자세 추정과 같은 다른 RGB-D 작업으로 일반화되어 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• REN은 ICVL, NYU, MSRA 세 가지 공개 손 자세 데이터셋에서 모두 최고 성능을 기록하며, 이전의 모든 최신 기술 수준 방법을 능가한다.
• NYU 데이터셋에서 REN은 15.6mm의 손끝 검출 오차를 기록하여 비교된 모든 방법 중에서 가장 낮으며, 평균 정밀도(mP)는 0.66을 기록한다.
• ITOP 데이터셋에서 REN은 정면 시점 인간 자세 추정에서 84.9 mAP를 달성하여 RTW와 REF를 크게 앞서며, 상단 시점에서도 뛰어난 성능을 보였다.
• 영역 앙상블 접근 방식은 전통적인 배깅과 다중 시점 테스트 모두를 뛰어넘어 더 높은 정확도와 낮은 메모리 및 추론 비용을 확보했다.
• 제거 분석 결과, 데이터 증강과 스무스 L1 손실이 소규모 데이터셋에서 일반화 성능 향상과 과적합 감소에 크게 기여하는 것으로 확인되었다.
• 이 방법은 손 자세 추정을 넘어서도 잘 일반화되며, 타겟 데이터셋에서의 재학습 없이도 손끝 검출 및 인간 자세 추정 작업에서 최신 기술 수준의 성능을 달성했다.