[논문 리뷰] TRB: A Novel Triplet Representation for Understanding 2D Human Body

Haodong Duan, Kwan-Yee Lin외 4명|arXiv (Cornell University)|2019. 10. 25.

Human Pose and Action Recognition참고 문헌 43인용 수 4

한 줄 요약

이 논문은 자세에 적합한 뼈대 키포인트와 체형에 적합한 윤곽 키포인트를 조합한 새로운 2차원 인체 표현인 트리플릿 표현(Trb)을 제안한다. 이는 더 풍부하고도 더 민첩한 인체 이해를 가능하게 한다. 저자들은 X-구조, 방향성 컨볼루션, 쌍별 매핑을 갖춘 이중 브랜치 네트워크인 TRB-Net을 도입하여 자세와 체형을 동시에 추정한다. 이로써 뼈대 키포인트 작업과 윤곽 키포인트 작업에서 각각 13.3%와 15.1%의 오차 감소를 달성하며, 최신 기법들을 능가한다.

ABSTRACT

Human pose and shape are two important components of 2D human body. However, how to efficiently represent both of them in images is still an open question. In this paper, we propose the Triplet Representation for Body (TRB) -- a compact 2D human body representation, with skeleton keypoints capturing human pose information and contour keypoints containing human shape information. TRB not only preserves the flexibility of skeleton keypoint representation, but also contains rich pose and human shape information. Therefore, it promises broader application areas, such as human shape editing and conditional image generation. We further introduce the challenging problem of TRB estimation, where joint learning of human pose and shape is required. We construct several large-scale TRB estimation datasets, based on popular 2D pose datasets: LSP, MPII, COCO. To effectively solve TRB estimation, we propose a two-branch network (TRB-net) with three novel techniques, namely X-structure (Xs), Directional Convolution (DC) and Pairwise Mapping (PM), to enforce multi-level message passing for joint feature learning. We evaluate our proposed TRB-net and several leading approaches on our proposed TRB datasets, and demonstrate the superiority of our method through extensive evaluations.

연구 동기 및 목표

• 자세와 체형 정보를 모두 포괄하는 통합된 2차원 인체 표현이 부족한 문제를 해결하기 위해.
• 2D 이미지에서 자세와 체형을 동시에 학습하는 데 필요한 새로운 작업인 TRB 추정에 대한 벤치마크를 구축하기 위해.
• 자기 뼈대 키포인트와 윤곽 키포인트 표현을 동시에 효과적으로 학습할 수 있는 다중 작업 딥러닝 프레임워크를 개발하기 위해.
• TRB가 조건부 이미지 생성 및 인간 체형 편집과 같은 고수준 시각 작업에서 어떻게 활용될 수 있는지 보여주기 위해.

제안 방법

• 자세를 위한 뼈대 키포인트(포즈)와 체형을 위한 윤곽 키포인트(형상)를 조합한 컴act한 2차원 표현인 트리플릿 표현(Trb)을 제안한다.
• LSP, MPII, COCO 기반으로 윤곽 키포인트를 추가로 표기하여 대규모 TRB 추정 데이터셋을 구축함으로써 벤치마크 평가를 가능하게 한다.
• 공유된 특징 학습을 통해 뼈대 키포인트와 윤곽 키포인트를 동시에 추정하는 이중 브랜치 네트워크인 TRB-Net을 설계한다.
• X-구조(Xs)를 도입하여 뼈대 브랜치와 윤곽 브랜치 간의 다중 수준 특징 교환을 가능하게 하는 메시지 전달 블록을 제공한다.
• 특정 작업에 최적화된 컨볼루션 연산자인 방향성 컨볼루션(DC)을 제안하여 특징 맵 간의 내부-외부 및 외부-내부 공간 관계를 모델링한다.
• 쌍별 매핑(PM)을 구현하여 뼈대 브랜치와 윤곽 브랜치 간의 일관된 예측을 강제함으로써 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 통합된 2차원 인체 표현이 관절 운동 자세와 의미론적 체형 정보를 효과적으로 포착할 수 있는가?
• RQ2 자세와 체형의 공동 학습이 단일 작업 접근 방식을 초월해 키포인트 추정 정확도를 향상시킬 수 있는가?
• RQ3 윤곽 키포인트가 자세 추정 및 체형 인식 기반 이미지 생성에서 성능 향상에 얼마나 기여하는가?
• RQ4 TRB는 조건부 이미지 생성 및 인간 체형 편집과 같은 실용적 응용을 지원할 수 있는가?

주요 결과

• TRB-Net은 최신 기법 대비 뼈대 키포인트 추정에서 13.3% 오차 감소, 윤곽 키포인트 추정에서 15.1% 오차 감소를 달성한다.
• LSP 데이터셋에서 TRB-Net은 PCK@0.2 기준 94.5%를 기록하며, 이는 이전 최신 기법들보다 유의미한 격차로 뛰어나며 특히 손목과 발목과 같은 어려운 키포인트 위치에서 뛰어난 성능을 보였다.
• MPII 데이터셋에서 TRB-Net은 평균 PCKh@0.5 기준 92.2%를 달성하였으며, MPII 데이터만으로 훈련된 기법보다 뛰어나고, LIP 및 LSP와 같은 추가 데이터를 사용한 모델들과 경쟁력 있는 성능을 유지했다.
• COCO 데이터셋의 절반만으로도 훈련된 TRB-Net(hg2-ours_sub)이 전체 데이터셋으로 훈련된 기준 모델과 유사한 성능을 기록함으로써, TRB 표현의 효율성을 입증했다.
• TRB 기반의 조건부 이미지 생성 프레임워크는 자세 및 체형 기반의 이미지 합성을 성공적으로 수행했으며, 제어 가능성과 시각적 품질 면에서 기준 모델들을 능가했다.