[논문 리뷰] Learning to Fuse 2D and 3D Image Cues for Monocular Body Pose Estimation

Bugra Tekin, Pablo Márquez-Neila외 2명|arXiv (Cornell University)|2016. 11. 17.

Human Pose and Action Recognition참고 문헌 62인용 수 17

한 줄 요약

이 논문은 2D 관절 신뢰도 맵과 원본 이미지 특징을 동시에 사용하여 가용한 융합 메커니즘을 통해 3D 인간 신체 자세를 동시 회귀하는 새로운 딥러닝 프레임워크를 제안한다. 가용한 2D 검출 신뢰도와 3D 이미지 신호를 학습 가능한 날카운 융합 전략을 통해 융합함으로써, 표준 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 이전 작업 대비 3D 자세 오차를 12% 감소시켰고, 10 fps에서 실시간 추론을 가능하게 한다.

ABSTRACT

Most recent approaches to monocular 3D human pose estimation rely on Deep Learning. They typically involve regressing from an image to either 3D joint coordinates directly or 2D joint locations from which 3D coordinates are inferred. Both approaches have their strengths and weaknesses and we therefore propose a novel architecture designed to deliver the best of both worlds by performing both simultaneously and fusing the information along the way. At the heart of our framework is a trainable fusion scheme that learns how to fuse the information optimally instead of being hand-designed. This yields significant improvements upon the state-of-the-art on standard 3D human pose estimation benchmarks.

연구 동기 및 목표

• 단안 3D 인간 자세 추정의 모호함을 2D 관절 검출의 장점과 직접적인 3D 이미지 추론의 장점을 조합하여 해결하고자 한다.
• 기존 방법들이 3D 이미지 신호를 忽시하거나 2D 관절 불확실성을 효과적으로 모델링하지 못하는 한계를 극복하고자 한다.
• 수동으로 설계된 융합 규칙을 피하기 위해 2D 및 3D 스트림 간 최적의 융합 지점과 전략을 자동으로 학습하는 학습 가능한 융합 메커니즘을 개발하고자 한다.
• 두 스트림의 보완적 특징을 활용하여 제약 없는 실외 이미지에서 일반화 능력과 강인성을 향상시키고자 한다.
• 낮은 추론 지연을 확보하여 고정밀도와 함께 실시간 배포를 가능하게 하고자 한다.

제안 방법

• 프레임워크는 두 개의 병렬 스트림을 사용한다: 하나는 2D 관절 위치의 신뢰도 맵을 예측하기 위한 것(신뢰도 맵 스트림), 다른 하나는 입력 이미지에서 직접 3D 이미지 신호를 추출하기 위한 것(이미지 스트림).
• 두 스트림은 다층에서 동적으로 특징 융합을 제어할 수 있는 학습 가능한 시그모이드 게이트를 사용하는 학습 가능한 융합 모듈을 통해 융합된다. 이는 적응적이고 계층별로 특화된 융합을 가능하게 한다.
• 융합 메커니즘은 희박성 유도 항목을 통해 정규화되어 날카운 융합을 장려함으로써 여분의 파rameter를 줄이고 추론 시 효율성을 향상시킨다.
• 네트워크는 2D 히트맵 예측과 3D 관절 회귀를 동시에 최적화하는 다중 과제 손실을 사용하여 엔드 투 엔드로 훈련된다.
• 훈련 후, 학습된 게이트 값에 기반해 비활성 융합 레이어가 제거되어 컴act하고 효율적인 추론 네트워크로 변환된다.
• 모델은 Human3.6m, LSP, KTH와 같은 표준 벤치마크에서 평가되었으며, 합성 데이터로 훈련된 경우에도 실외 이미지에 대해 잘 일반화됨을 확인하였다.

실험 결과

연구 질문

• RQ1 학습 가능한 융합 메커니즘이 2D 관절 신뢰도 맵과 3D 이미지 특징을 융합하는 데 있어 수동으로 설계된 융합 전략을 능가할 수 있는가?
• RQ2 2D 및 3D 신호를 동시에 회귀함으로써 단일 모odal을 사용하는 방법보다 정확도와 강인성이 향상되는가?
• RQ3 학습 가능한 희박성 유도 게이트를 통해 특정 계층에서 날카운 융합이 가능하게 하여 융합 과정을 적응적이고 효율적으로 만들 수 있는가?
• RQ4 합성 데이터로 훈련된 경우에도 실생활 제약 없는 실외 이미지에 대해 잘 일반화되는가?
• RQ5 제안된 융합 전략은 3D 인간 자세 추정을 넘어서 다른 다중 모odal 학습 문제에 적용 가능한가?

주요 결과

• 제안된 방법은 Human3.6m Eating 동작 클래스에서 3D 자세 오차 60.17 mm를 기록하였으며, 정규화 없이 기준선 대비 12.6% 향상되었다.
• 정규화 항목을 적용한 결과, 추론 시간이 0.006초/프레임(167 fps)으로 단축되었고, 비활성 융합 레이어를 제거함으로써 모델이 더 효율적이게 되었다.
• 합성 데이터로 훈련된 모델임에도 불구하고 LSP 데이터셋에서 고해상도 3D 자세 예측을 통해 실사 이미지에 대한 우수한 일반화 능력을 입증하였다.
• 정성적 결과는 Self-occlusion 및 시점 모호성과 같은 도전적인 케이스(예: Human3.6m 및 KTH Multiview Football II 데이터셋)에서 강인한 성능을 보였다.
• 두 스트림의 특징은 상호 독립적이며, 이는 서로 보완적인 정보를 담고 있음을 확인하며 융합 전략의 타당성을 뒷받침한다.
• 표준 GPU에서 10 fps(0.096초/프레임)로 실행되며, 이는 0.04에서 1 fps 사이의 이전 모델 기반 방법들을 능가한다.