[논문 리뷰] FBI-Pose: Towards Bridging the Gap between 2D Images and 3D Human Poses using Forward-or-Backward Information

Yulong Shi, Xiaoguang Han외 4명|arXiv (Cornell University)|2018. 06. 25.

Human Pose and Action Recognition참고 문헌 31인용 수 12

한 줄 요약

이 논문은 신체 뼈의 전진 또는 후진 정보(FBI)를 약한 지도 신호로 도입함으로써 2D 이미지와 3D 인간 자세 추정 간 격차를 해소하는 새로운 프레임워크인 FBI-Pose를 제안한다. 두 개의 브랜치로 구성된 컨볼루션 네트워크를 통해 2D 관절 위치와 FBI를 동시에 추론한 후, 이를 3D 자세 회귀기로 연결함으로써 3D 리프팅의 모호성을 줄이고, FBI로 애너테이션된 12,000장의 일상 이미지 데이터셋을 사용하여 표준 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Although significant advances have been made in the area of human poses estimation from images using deep Convolutional Neural Network (ConvNet), it remains a big challenge to perform 3D pose inference in-the-wild. This is due to the difficulty to obtain 3D pose groundtruth for outdoor environments. In this paper, we propose a novel framework to tackle this problem by exploiting the information of each bone indicating if it is forward or backward with respect to the view of the camera(we term it Forwardor-Backward Information abbreviated as FBI). Our method firstly trains a ConvNet with two branches which maps an image of a human to both the 2D joint locations and the FBI of bones. These information is further fed into a deep regression network to predict the 3D positions of joints. To support the training, we also develop an annotation user interface and labeled such FBI for around 12K in-the-wild images which are randomly selected from MPII (a public dataset of 2D pose annotation). Our experimental results on the standard benchmarks demonstrate that our approach outperforms state-of-the-art methods both qualitatively and quantitatively.

연구 동기 및 목표

• 3D 기준 데이터의 부족으로 인해 일상 환경에서의 3D 인간 자세 추정 문제를 해결하기 위해.
• 3D 인식 가능하고 약한 지도 신호를 통합함으로써 2D 관절을 3D 자세로 올리는 데 발생하는 모호성을 줄이기 위해.
• 일상 이미지의 뼈에 대해 전진 또는 후진 정보(FBI)를 레이블링하기 위한 효율적인 애너테이션 인터페이스를 개발하기 위해.
• FBI 지도 신호가 기존의 두 단계로 구성된 2D에서 3D로의 변환 파이프라인을 초월하여 3D 자세 추정 성능을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 이 방법은 단일 RGB 이미지에서 각 뼈에 대해 2D 관절 위치와 FBI를 예측하기 위해 두 개의 브랜치로 구성된 컨볼루션 네트워크를 사용한다.
• FBI는 뼈가 카메라에 대해 방향성으로 정렬된 상태를 의미하며, 관절이 전방인지 후방인지 여부를 나타낸다.
• 예측된 2D 관절 위치와 FBI는 결합되어 3D 관절 좌표를 예측하기 위한 깊이 회귀 네트워크로 입력된다.
• 학습 중에는 어려운 케이스에 우선순위를 두기 위해 FBI 분류에 가중치 손실 전략을 적용한다.
• 사용자 정의 애너테이션 인터페이스를 사용하여 수동으로 FBI를 레이블링한 12,000장의 일상 이미지로 구성된 새로운 데이터셋에서 모델를 토닝한다.
• 3D 자세를 FBI 레이블로 변환하기 위해 35°의 임계 각도를 사용하며, 이는 추론 실험을 통해 최적화되었다.

실험 결과

연구 질문

• RQ1 신체 뼈의 전진 또는 후진 정보(FBI)가 2D 이미지에서의 3D 인간 자세 추정의 모호성을 효과적으로 줄일 수 있는가?
• RQ2 기존의 표준 2D에서 3D로의 변환 파이프라인과 비교했을 때, FBI를 약한 지도 신호로 통합하면 3D 자세 추정 성능이 어떻게 향상되는가?
• RQ3 3D 자세를 FBI 레이블로 변환하기 위한 최적의 임계 각도는 무엇이며, 이는 성능에 어떤 영향을 미치는가?
• RQ4 대규모 약한 애너테이션을 가진 FBI 데이터셋은 일상 이미지로의 일반화 성능을 향상시킬 수 있는가?
• RQ5 2D 자세와 FBI의 동시 학습은 2D 및 3D 구성 요소를 별도로 학습하는 것보다 더 높은 3D 자세 정확도를 달성할 수 있는가?

주요 결과

• 제안된 FBI-Pose 방법은 일상 이미지에서 FBI 예측의 정확도 비율이 78%를 기록하며, 최신 기술 수준의 방법 [33]보다 3 포인트 높다.
• 추론 실험을 통해 가중치를 적용한 FBI 분류 지도 학습이 성능 향상에 기여하며, 특히 '앉는 자세'와 같은 복잡한 자세에서 두드러진다.
• 일상 이미지의 FBI 데이터셋에서의 토닝을 통해 FBI 정확도가 58%에서 78%로 상승하여 일반화 성능 향상이 뚜렷하게 입증되었다.
• 3D 자세를 FBI 레이블로 변환하기 위한 최적의 임계 각도는 35°이며, 이는 H3.6M 프로토콜 #1에서의 추론 실험을 통해 도출되었다.
• 표준 벤치마크에서 정량적·정성적 성능 모두 최신 기술 수준을 달성하여, 2D-3D 자세 간 격차를 메우는 데 효과적임을 입증했다.