[논문 리뷰] HO-3D_v3: Improving the Accuracy of Hand-Object Annotations of the HO-3D Dataset

Shreyas Hampali, Sayan Sarkar외 1명|arXiv (Cornell University)|2021. 07. 02.

Human Pose and Action Recognition인용 수 14

한 줄 요약

HO-3D_v3은 교차 엔트로피 손실, 해부학적으로 정렬된 관절 축, 그리고 구체 기반의 반발 항목을 도입하여 HO-3D 데이터셋 내 3D 손 및 물체 자세 주석의 정확도를 향상시킨다. 이로 인해 손끝 오차가 12.31mm에서 8.12mm로 4mm 감소하였고, 더 낮은 관류율을 보이며 더 현실적인 손-물체 접촉 영역을 확보하였다.

ABSTRACT

HO-3D is a dataset providing image sequences of various hand-object interaction scenarios annotated with the 3D pose of the hand and the object and was originally introduced as HO-3D_v2. The annotations were obtained automatically using an optimization method, 'HOnnotate', introduced in the original paper. HO-3D_v3 provides more accurate annotations for both the hand and object poses thus resulting in better estimates of contact regions between the hand and the object. In this report, we elaborate on the improvements to the HOnnotate method and provide evaluations to compare the accuracy of HO-3D_v2 and HO-3D_v3. HO-3D_v3 results in 4mm higher accuracy compared to HO-3D_v2 for hand poses while exhibiting higher contact regions with the object surface.

연구 동기 및 목표

• 기존에 자동 최적화를 통해 생성된 결과가 열등한 성능을 보였던 HO-3D 데이터셋 내 3D 손 및 물체 자세 주석의 정확도를 향상시키는 것.
• HO-3D_v2의 한계, 즉 비현실적인 자세, 열악한 접촉 추정, 손과 물체 간 높은 관류율을 해결하는 것.
• 최적화 제약 조건과 감독 신호의 개선을 통해 손-물체 상호작용의 현실성과 물리적 타당성을 높이는 것.
• 특히 동적 움직임과 접촉 영역 추정에 있어 더 신뢰할 수 있는 벤치마크를 제공하는 것.
• 주석 품질 향상을 통해 하류 작업, 예를 들어 손 자세 추정 및 접촉 예측에서의 일반화 능력과 성능 향상을 이루는 것.

제안 방법

• HO-3D_v2에서 사용된 L2 기반 실루엣 차이 항목을 MSeg의 세그멘테이션 신뢰도 맵을 사용한 교차 엔트로피 손실로 대체함. 이 세그멘테이션 맵은 물체, 사람, 배경의 세 클래스로 재매핑됨.
• PCA 성분이 아닌 관절 각도에 직접 최적화함으로써 관절 축을 해부학적 손가락 방향에 맞추어 국소 최소값을 피하고 자연스러운 움직임 자세에 도달 가능성을 높임.
• 손과 물체를 구체의 집합으로 모델링하는 구체 기반의 반발 항목을 도입. 반발 에너지는 2mm의 허용 오차를 초과하는 겹침을 페널티 처리함.
• 모든 카메라의 다중 시점 깊이 포인트 클라우드를 사용하여 수작업 주석 및 손끝 위치 평가에 적합한 고정밀 3D 포인트 클라우드를 생성함.
• 향상된 최적화 프레임워크를 적용하여 전체 HO-3D 데이터셋에 걸쳐 손 및 물체 자세를 재계산함으로써 HO-3D_v3를 도출함.
• HO-3D_v2가 성능이 열악했던 영역에서 선택된 50개의 수작업 주석 프레임(손끝 위치 기반)을 사용하여 향상 정도를 평가함.

실험 결과

연구 질문

• RQ1 HO-3D_v2 버전을 초월하여 HO-3D 데이터셋 내 3D 손 및 물체 자세 주석의 정확도를 어떻게 향상시킬 수 있는가?
• RQ2 MSeg 기반 세그멘테이션을 사용한 교차 엔트로피 손실이 실루엣 정렬 및 자세 추정에 얼마나 기여하는가?
• RQ3 해부학적으로 정렬된 관절 축이 자세 아티팩트를 줄이고 자연스러운 움직임 자세의 도달 가능성을 향상시키는가?
• RQ4 구체 기반의 반발 항목이 관류율을 줄이고 더 물리적으로 타당한 손-물체 상호작용을 가능하게 하는가?
• RQ5 업데이트된 주석이 동적 및 정적 움직임에서의 접촉 영역 추정과 관류율에 어떻게 영향을 미치는가?

주요 결과

• HO-3D_v3는 HO-3D_v2에서의 평균 손끝 오차 12.31mm를 8.12mm로 줄여 정확도가 4mm 향상됨.
• 새로운 주석은 특히 동적 움직임 시퀀스에서 더 현실적인 손-물체 접촉 영역을 보이며, 접촉 맵을 통해 시각화됨.
• HO-3D_v3에서는 손과 물체 간 평균 관류율 거리가 감소하여 유사한 허용 오차 기준에도 불구하고 더 높은 물리적 타당성을 보임.
• 해부학적으로 정렬된 관절 축 사용으로 인해 HO-3D_v2에서 관찰된 잘못된 방향의 엉덩이 손가락 자세와 같은 비현실적인 자세가 방지됨.
• 구체 기반의 반발 항목은 정확한 자세 추정을 유지하면서도 관류율을 효과적으로 줄이며, 2mm의 관류율 허용 오차를 기준으로 사용됨.
• 업데이트된 데이터셋은 HO-3D_v2보다 훨씬 큰 규모로 83,325장의 훈련 이미지와 20,137장의 테스트 이미지를 포함하고 있으며, 주로 동일한 주제 및 물체 수를 유지함.