[논문 리뷰] ArtiBoost: Boosting Articulated 3D Hand-Object Pose Estimation via Online Exploration and Synthesis

Kailin Li, Lixin Yang외 5명|arXiv (Cornell University)|2021. 09. 12.

Robot Manipulation and Learning참고 문헌 47인용 수 4

한 줄 요약

ArtiBoost는 복합 수동-객체 구성 및 시점(CCv) 공간에서 동적으로 다양한 수동-객체 구성들을 탐색하고 합성함으로써 3D 수동-객체 자세 추정 성능을 향상시키는 온라인 데이터 증강 프레임워크를 제안한다. 모델 손실 피드백 기반으로 구분하기 어려운 쌍을 반복적으로 샘플링하고 재가중함으로써 ArtiBoost는 훈련 데이터의 다양성을 높이고 모델의 일반화 능력을 향상시켜 단순한 베이스라인 네트워크를 사용함에도 불구하고 HO3D 및 DexYCB 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Estimating the articulated 3D hand-object pose from a single RGB image is a highly ambiguous and challenging problem, requiring large-scale datasets that contain diverse hand poses, object types, and camera viewpoints. Most real-world datasets lack these diversities. In contrast, data synthesis can easily ensure those diversities separately. However, constructing both valid and diverse hand-object interactions and efficiently learning from the vast synthetic data is still challenging. To address the above issues, we propose ArtiBoost, a lightweight online data enhancement method. ArtiBoost can cover diverse hand-object poses and camera viewpoints through sampling in a Composited hand-object Configuration and Viewpoint space (CCV-space) and can adaptively enrich the current hard-discernable items by loss-feedback and sample re-weighting. ArtiBoost alternatively performs data exploration and synthesis within a learning pipeline, and those synthetic data are blended into real-world source data for training. We apply ArtiBoost on a simple learning baseline network and witness the performance boost on several hand-object benchmarks. Our models and code are available at https://github.com/lixiny/ArtiBoost.

연구 동기 및 목표

• 실제 데이터셋에서의 제한된 다양성으로 인해 발생하는 운동성 3D 수동-객체 자세 추정(HOPE) 문제를 해결하기 위해, 자세, 물체, 시점의 변동성이 부족한 문제를 해결한다.
• 기존의 오프라인 데이터 합성 방식의 비효율성을 해결하기 위해, 어려운 구분이 가능한 샘플에 집중하는 적응형 온라인 데이터 강화 기법을 제안한다.
• 모델에 종속되지 않는 방법을 개발하여 데이터 탐색과 모델 학습 간의 지속적인 상호작용을 통해 HOPE 성능을 향상시킨다.
• 구조화된 CCV-공간에서 다양한 물리적으로 타당한 수동-객체 상호작용을 합성함으로써 자세 추정 정확도가 크게 향상됨을 입증한다.

제안 방법

• 수동-객체 상호작용을 체계적으로 표현하기 위해 물체 유형, 수동 자세, 카메라 시점으로 구성된 3차원 이산 공간인 CCV-공간을 도입한다.
• 맞춤형 抓잡(Grasp) 합성 방법을 통해 MANO 수동 정점과 물체 표면 간의 접촉 제약 조건을 강제하여 CCV-공간 내에서 유효하고 현실적인 수동-객체 구성의 생성을 보장한다.
• ArtiBoost는 CCV-공간에서의 탐색(쌍 샘플링)과 합성(샘플된 시점에서 이미지 렌더링)을 번갈아 수행하며, 훈련 배치에 실제 데이터와 합성 데이터를 혼합한다.
• HOPE 모델의 손실 피드백을 활용하여 샘플링 확률을 재가중함으로써, 이후 라운드에서 구분하기 어려운 구성에 우선순위를 부여한다.
• 이 프레임워크는 모델에 종속되지 않으며, 분류 기반 및 회귀 기반 모델을 포함한 어떤 CNN 기반 자세 추정 아키텍처와도 통합 가능하다.
• 비미분 가능 렌더러의 특성상 룩업 테이블 기반 탐색 전략을 사용하여 CCV-공간 내에서 효율적이고 확장 가능한 샘플링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 구조화된 CCV-공간 내에서 온라인, 손실 유도 탐색이 3D 수동-객체 자세 추정 모델의 일반화 능력을 향상시키는가?
• RQ2 CCV-공간에서 다양한 물리적으로 타당한 수동-객체 상호작용을 합성하면 기존의 오프라인 합성 방법보다 성능이 향상되는가?
• RQ3 경량이며 모델에 종속되지 않는 데이터 증강 프레임워크가 아키텍처 수정 없이 최신 기술 수준의 성능을 초월할 수 있는가?
• RQ4 온라인 합성 데이터 강화와 결합했을 때, 실제 레이블이 부여된 데이터에 대한 의존도를 줄이면 모델 성능 향상에 얼마나 기여하는가?

주요 결과

• ArtiBoost가 CCV-공간에서 생성한 합성 데이터로 훈련된 모델는 YCBAfford에서 제공하는 전통적 합성 데이터로 훈련된 동일한 모델보다 성능이 뛰어나, CCV-공간의 다양성과 타당성이 뛰어남을 입증한다.
• DexYCB 벤치마크에서 확인된 바와 같이, ArtiBoost의 온라인 재가중 전략은 오프라인 샘플링 방식보다 빠른 수렴과 높은 성능을 달성한다.
• 원래 HO3D 훈련 데이터의 10%에 더해, ArtiBoost의 합성 데이터 100%를 사용한 경우, 실질적인 데이터 100%만 사용한 경우보다 더 높은 성능을 기록한다.
• 카메라 공간 HOPE 프레임워크(Hasson 등)로 이식되었을 때, ArtiBoost는 카메라 공간 및 손목 기준 시스템 모두에서 MPJPE를 포함한 모든 지표를 크게 향상시킨다.
• 단순한 분류 기반 및 회귀 기반 베이스라인을 사용함에도 불구하고, ArtiBoost는 HO3D(v1-v3) 및 DexYCB 벤치마크에서 이전의 최신 기술 수준 성능을 초월하는 성능을 달성한다.