[논문 리뷰] A Dataset of Relighted 3D Interacting Hands

Gyeongsik Moon, Shunsuke Saito외 13명|arXiv (Cornell University)|2023. 10. 26.

Hand Gesture Recognition Systems인용 수 4

한 줄 요약

이 논문은 현실적이고 다양한 이미지 외관과 정확한 3D 기준 자세를 결합한 대규모 리라이팅된 3D 상호작용 손 데이터셋인 Re:InterHand를 소개한다. 다중 카메라 스튜디오에서 정밀하게 추적된 3D 손 자세에 최신 수준의 손 리라이팅 네트워크를 적용함으로써, 높은 현실감과 외관 다양성을 확보하면서도 강력한 3D 자세 정확도를 유지하여 기존 데이터셋에 비해 현실감과 애너테이션 품질 측면에서 뛰어나다.

ABSTRACT

The two-hand interaction is one of the most challenging signals to analyze due to the self-similarity, complicated articulations, and occlusions of hands. Although several datasets have been proposed for the two-hand interaction analysis, all of them do not achieve 1) diverse and realistic image appearances and 2) diverse and large-scale groundtruth (GT) 3D poses at the same time. In this work, we propose Re:InterHand, a dataset of relighted 3D interacting hands that achieve the two goals. To this end, we employ a state-of-the-art hand relighting network with our accurately tracked two-hand 3D poses. We compare our Re:InterHand with existing 3D interacting hands datasets and show the benefit of it. Our Re:InterHand is available in https://mks0601.github.io/ReInterHand/.

연구 동기 및 목표

• 두 손의 상호작용에 대해 동시에 다양한 현실적인 이미지 외관과 대규모 정확한 3D 손 자세 애너테이션을 제공하는 데이터셋의 부족을 보완하기 위해.
• 기존 데이터셋의 한계——실내 실험실 기반(외관이 단조로움), 자연 환경 기반(규모와 정확도 제한됨), 복합 이미지 기반(조명 불일치)—을 극복하기 위해 각 접근법의 장점을 융합하기 위해.
• 학습된 리라이팅 네트워크를 사용해 현실적인 조명과 반사 효과를 갖춘 이미지를 생성함으로써 실제 환경(인간 중심) 시나리오에서 더 견고한 3D 손 자세 추정을 가능하게 하기 위해.
• 에고세트릭 및 타인 시점 뷰포인트를 포함한 현실적인 시각 조건에서 3D 상호작용 손 복원 방법을 평가할 수 있는 벤치마크를 제공하기 위해.
• 다양한 손 자세와 포토레얼리스틱 렌더링을 갖춘 대규모 고품질 데이터셋을 제공함으로써 3D 손 자세 추정 분야의 연구를 촉진하기 위해.

제안 방법

• 100대의 동기화된 카메라를 사용한 다중 카메라 스튜디오 설정을 활용하여 고정밀도 3D 손 자세를 확보함으로써 고해상도 기준 3D 관절 및 MANO 메쉬 애너테이션을 확보한다.
• 단일 손 데이터로 훈련된 최신 수준의 손 리라이팅 네트워크를 적용하여 고해상도 환경 맵을 사용해 현실적인 조명 조건을 갖춘 3D 손 메쉬를 렌더링한다.
• 다양한 자세, 조명, 배경 조건을 가진 3D 손 메쉬를 렌더링하여 총 150만 장의 이미지를 생성함으로써 실제 피부 톤과 반사 효과를 유지한다.
• 환경 맵를 사용해 실제 환경의 조명 변화를 시뮬레이션하여 외관 다양성을 향상시키면서도 손 기하학적 구조와 조명 간의 일관성을 유지한다.
• AdaIN과 같은 후처리 기법을 적용하여 전경 손과 배경 간의 색조 조화를 향상시키지만, 반사 오류로 인해 성능 향상이 제한적이다.
• 개인 식별 정보를 제외하고 동의서를 사용함으로써 개인정보 보호를 확보하면서도 데이터 유용성을 유지한다.

실험 결과

연구 질문

• RQ1 실제 환경에서의 일반화 성능 향상을 위해, 3D 손 데이터셋이 현실적이고 다양한 이미지 외관과 대규모 정확한 3D 자세 애너테이션을 동시에 제공할 수 있는가?
• RQ2 학습된 네트워크를 사용해 3D 손 메쉬를 리라이팅하는 것은 실제 환경 및 인간 중심 데이터에 대한 3D 손 자세 추정 모델의 성능에 어떤 영향을 미치는가?
• RQ3 제안된 데이터셋이 현실감, 자세 다양성, 3D 정확도 측면에서 기존 데이터셋에 비해 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 Re:InterHand에서 훈련된 모델이 기존 벤치마크에 비해 에고세트릭 및 타인 시점 환경 조건에서 일반화 성능을 향상시키는가?
• RQ5 현재의 리라이팅 네트워크는 복잡한 두 손 상호작용 시나리오에 적용했을 때 어떤 한계를 지니는가?

주요 결과

• Re:InterHand의 자체 테스트 스플릿에서 미세조정을 거친 결과, 에고세트릭 뷰에서 20.07 RRVE를 기록하여 기준 모델인 InterWild(28.89 RRVE)에 비해 뚜렷이 뛰어난 성능을 보였다.
• 리라이팅 단계를 거친 결과, 실제 환경 데이터셋인 HIC에서 오차가 67.11에서 52.91 RRVE로 감소하여 자연 이미지 외관으로의 일반화 성능 향상이 입증되었다.
• Re:InterHand에서 미세조정을 거친 후 InterHand2.6M에서 오차가 19.74에서 19.40 RRVE로 2.4% 감소하여, 실험실 기반 데이터에 대해서도 더 뛰어난 강건성을 확보하였다.
• 리라이팅 과정은 피부 톤과 현실적인 조명을 유지하며, 전경과 배경 간 조명 불일치 문제를 겪는 단순 복합 기법에 비해 우수한 성능을 보였다.
• 도메인 이탈 문제로 인한 어려움에도 불구하고, 리라이팅 네트워크는 두 손 상호작용에 대해 합리적으로 잘 일반화되었으며, 일부 경우 반사 오류로 인한 잡음이 발생할 수 있었다.
• 이 데이터셋은 제3자 시점 및 에고세트릭 벤치마크에서 최신 기술 수준의 성능을 달성하여 실제 환경에서의 3D 손 자세 추정에 있어 실용성과 유효성을 입증하였다.