[논문 리뷰] Adaptive Graphical Model Network for 2D Handpose Estimation

Deying Kong, Yifei Chen외 3명|arXiv (Cornell University)|2019. 09. 18.

Human Pose and Action Recognition참고 문헌 27인용 수 16

한 줄 요약

이 논문은 두 개의 딥 컨volution 신경망 브랜치를 통합하는 새로운 딥 러닝 프레임워크인 적응형 그래픽 모델 네트워크(AGMN)를 제안한다. 하나의 브랜치는 관절 히트맵을 예측하는 단항 잠재변수를 담당하고, 다른 하나는 입력 이미지에 기반해 적응형 상관 잠재변수 매개변수를 추정한다. 이후 메시지 전파 방식으로 구현된 그래픽 모델 추론 모듈을 거친다. 주요 기여는 그래픽 모델의 매개변수가 입력 이미지에 완전히 적응하도록 설계되어 있어, 특히 심한 가림 상태에서 2D 손 자세 추정 정확도를 크게 향상시킨다는 점이며, CMU Panoptic 데이터셋에서 CPM 기준 최대 3.45% 향상된 PCK@0.05 성능을 기록했다.

ABSTRACT

In this paper, we propose a new architecture called Adaptive Graphical Model Network (AGMN) to tackle the task of 2D hand pose estimation from a monocular RGB image. The AGMN consists of two branches of deep convolutional neural networks for calculating unary and pairwise potential functions, followed by a graphical model inference module for integrating unary and pairwise potentials. Unlike existing architectures proposed to combine DCNNs with graphical models, our AGMN is novel in that the parameters of its graphical model are conditioned on and fully adaptive to individual input images. Experiments show that our approach outperforms the state-of-the-art method used in 2D hand keypoints estimation by a notable margin on two public datasets. Code can be found at https://github.com/deyingk/agmn.

연구 동기 및 목표

• 심한 자가가림 상황에서 발생하는 기하학적 불일치와 모호함 문제를 해결하기 위해.
• 기존의 DCNN-GM 융합 방법에서 공유되는 고정된 그래픽 모델 매개변수의 한계를 극복하기 위해, 입력 이미지에 특화된 그래픽 모델 적응 기능을 도입하기 위해.
• 딥 테처 추출과 구조적 추론을 융합한 엔드 투 엔드 학습 가능한 프레임워크를 개발하기 위해.
• 실제로 가림이 심한 데이터셋에서 적응형 그래픽 모델이 성능 향상에 크게 기여할 수 있음을 입증하기 위해.

제안 방법

• AGMN 아키텍처는 두 개의 병렬 DCNN 브랜치로 구성되며, 하나는 각 손 관절에 대한 단항 잠재변수(히트맵)를 추정하고, 다른 하나는 입력 이미지로부터 그래픽 모델의 상관 잠재변수 매개변수를 추정한다.
• 상관 잠재변수 매개변수는 입력 이미지마다 동적으로 생성되며, 이로 인해 그래픽 모델이 입력에 특화된 완전한 적응성을 확보한다.
• 그래픽 모델 추론은 메시지 전파 방식으로 수행되며, 효율성과 엔드 투 엔드 미분 가능성을 확보하기 위해 2D 컨볼루션의 연속으로 구현된다.
• 전체 네트워크는 히트맵 회귀와 구조적 예측 목표를 통합한 다성분 손실 함수를 사용해 엔드 투 엔드로 학습된다.
• 특징 추출을 위해 VGG-19를 백본으로 사용하며, 단항 및 상관 브랜치의 출력 해상도를 일치시켜 공간 일관성을 유지한다.
• 균형 잡힌 손실 계수(α₁=1, α₂=0.1, α₃=0.1)를 사용한 정밀 조정 단계를 통해 양 브랜치의 공동 최적화를 개선함으로써 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 개별 입력 이미지에 조건부로 설정된 적응형 그래픽 모델 매개변수는 고정 매개변수 기반 그래픽 모델 대비 2D 손 자세 추정 성능을 향상시킬 수 있는가?
• RQ2 이미지에 적응하는 상관 잠재변수를 통합함으로써, 특히 가림 상황에서 관절 예측의 기하학적 불일치와 모호함을 줄일 수 있는가?
• RQ3 제안된 AGMN 프레임워크는 다양한 수준의 가림과 복잡성을 가진 벤치마크 데이터셋에서 최신 기술(CPM)을 초월할 수 있는가?
• RQ4 저 PCK 임계값에서 적응형 그래픽 모델이 성능 향상에 얼마나 기여하는가? 이는 더 정밀한 국소화 정확도를 의미한다.

주요 결과

• CMU Panoptic 손 자세 데이터셋에서, AGMN은 정밀 조정 후 CPM 기준 PCK@0.05에서 최대 3.45% 향상되었으며, 브랜치를 별도로 학습한 경우 2.12% 향상되었다.
• 대규모 다중 시점 3D 손 자세 데이터셋에서 AGMN은 PCK@0.01에서 3.27% 향상되어 고정밀도 임계값에서도 뛰어난 성능을 보였다.
• 저반경률 임계값에서 적응형 그래픽 모델이 정확도를 크게 향상시켜, 이러한 임계값에서 공간 모델이 영향을 미치지 않는다는 주장에 도전한다.
• 정성적 결과에서는 AGMN이 특히 심한 가림 상황에서 예측의 모호성을 줄이고 관절 일관성을 향상시킴을 보였다.
• 지표상 상대 위치를 참값으로 사용한 상한 실험 결과, AGMN과 이론적 최대 성능 간 격차가 작음을 확인하여 제안된 적응 메커니즘이 매우 효율적임을 입증했다.
• 메시지 전파를 2D 컨볼루션의 연속으로 구현함으로써 높은 효율성을 유지하였으며, 엔드 투 엔드 학습과 실시간 추론을 가능하게 하였다.