[논문 리뷰] ThermoHands: A Benchmark for 3D Hand Pose Estimation from Egocentric Thermal Images

Fangqiang Ding, Yunzhou Zhu외 3명|arXiv (Cornell University)|2024. 03. 14.

Infrared Thermography in MedicineMedicine인용 수 3

한 줄 요약

ThermoHands는 열화상 영상을 사용한 에고세트릭 3D 손자세 추정을 위한 첫 번째 벤치마크를 소개한다. 28명의 참가자로부터 동기화된 96,000장의 다중 스펙트럼 영상과 자동화된 3D 자세 주석 파이프라인을 포함한다. 제안된 TheFormer 모델은 공간-시간 인코딩을 위한 이중 트랜스포머 모듈을 사용하여 최신 기술 수준의 성능을 달성하며, 저조도 및 손가락장갑 착용 조건에서도 열화상 영상의 강건성을 입증한다.

ABSTRACT

Designing egocentric 3D hand pose estimation systems that can perform reliably in complex, real-world scenarios is crucial for downstream applications. Previous approaches using RGB or NIR imagery struggle in challenging conditions: RGB methods are susceptible to lighting variations and obstructions like handwear, while NIR techniques can be disrupted by sunlight or interference from other NIR-equipped devices. To address these limitations, we present ThermoHands, the first benchmark focused on thermal image-based egocentric 3D hand pose estimation, demonstrating the potential of thermal imaging to achieve robust performance under these conditions. The benchmark includes a multi-view and multi-spectral dataset collected from 28 subjects performing hand-object and hand-virtual interactions under diverse scenarios, accurately annotated with 3D hand poses through an automated process. We introduce a new baseline method, TherFormer, utilizing dual transformer modules for effective egocentric 3D hand pose estimation in thermal imagery. Our experimental results highlight TherFormer's leading performance and affirm thermal imaging's effectiveness in enabling robust 3D hand pose estimation in adverse conditions.

연구 동기 및 목표

• 변동하는 조도와 장갑 등의 가림을 포함한 조건에서 RGB 기반 3D 손자세 추정의 한계를 해결한다.
• 전력 소모와 외부 빛원천 간섭 등의 단점이 있는 활성 NIR 시스템의 문제점을 해결한다.
• 수동 열화상 영상이 강건한 에고세트릭 3D 손자세 추정에 가능하고 유리한지를 입증한다.
• 열화상 기반 손자세 추정 방법의 체계적 평가 및 비교를 가능하게 하기 위해 표준화된 벤치마크를 구축한다.
• 다양한 실제 환경 시나리오를 위한 대규모, 다중 스펙트럼, 다중 시점 데이터셋과 자동으로 생성된 3D 손자세 주석을 제공한다.

제안 방법

• 28명의 참가자가 손-물체 및 손-가상 상호작용을 수행하는 동안 동기화된 열화상, RGB, NIR, 깊이 영상을 포함한 다중 스펙트럼, 다중 시점 데이터셋을 수집한다.
• 다중 시점 RGB 및 깊이 데이터를 사용하여 MANO 손 모델을 최적화하는 자동 3D 손자세 주석 파이프라인을 개발하여 약 1cm의 평균 정확도를 달성한다.
• 열화상 시퀀스의 공간-시간 관계를 모델링하기 위해 마스크 유도 공간 트랜스포머와 시간 트랜스포머를 갖춘 이중 브랜치 트랜스포머 아키텍처인 TheFormer을 제안한다.
• 이중 브랜치 설계를 활용해 복잡한 손의 운동을 캡처하면서도 계산 효율성을 유지하면서, 열화상 영상에서 TheFormer을 엔드 투 엔드로 훈련 및 평가한다.
• 다양한 스펙트럼 모odal리티와 도전적인 조건에서 최신 기술 수준의 RGB, NIR, 깊이 기반 방법들과의 비교를 위해 TheFormer을 벤치마크한다.
• 표준 및 보조 테스트 세트에서 정성적 및 정량적 평가를 수행하며, 장갑 착용, 어둠짐, 햇빛 반사 등의 시나리오를 포함한다.

실험 결과

연구 질문

• RQ1 열화상 영상은 도전적인 조명 조건과 가림 조건에서 에고세트릭 환경에서 강건한 3D 손자세 추정을 가능하게 하는가?
• RQ2 정확도와 강건성 측면에서 열화상 기반 3D 손자세 추정은 RGB, NIR, 깊이 기반 방법과 비교해 어떻게 다른가?
• RQ3 강한 주변 조도나 여러 대의 AR/VR 장치가 존재하는 실제 환경에서 수동 열감지 기술이 활성 NIR 시스템을 얼마나 뛰어나게 성능을 내는가?
• RQ4 다중 시점 RGB 및 깊이 데이터 기반 자동 주석 파이프라인이 열화상 데이터셋에서 정확한 3D 손자세 진짜값을 생성하는 데 얼마나 효과적인가?
• RQ5 어떤 아키텍처 설계가 공간적 및 시간적 종속성을 유지하면서도 열화상 시퀀스에서 효율적이고 정확한 3D 손자세 추정을 가능하게 하는가?

주요 결과

• 자동 주석 파이프라인은 평균 3D 손자세 주석 정확도 약 1cm를 달성하여 진짜값의 신뢰성을 입증한다.
• TheFormer은 기존의 열화상 기반 3D 손자세 추정 방법보다 뛰어난 성능을 보이며, ThermoHands 벤치마크에서 최신 기술 수준의 성능을 입증한다.
• 장갑 착용 상황에서 열화상 영상은 RGB 및 NIR 방법보다 뚜렷이 뛰어난 성능을 보이며, 색상과 질감의 변화가 RGB 기반 모델의 성능을 저하시키는 것을 방지한다.
• 직사광선과 완전한 어둠짐에서도 열화상 영상은 일관된 성능을 유지하지만, NIR 시스템은 간섭으로 인해 실패하고 RGB 시스템은 가시성이 상실된다.
• TheFormer의 이중 트랜스포머 설계는 계산 효율성을 유지하면서도 열화상 시퀀스의 공간-시간 관계를 효과적으로 모델링한다.
• 열화상 기반 추정은 다양한 실제 환경 조건에서 뛰어난 적응성과 강건성을 보이며, 실용적인 XR 및 인간-로봇 상호작용 응용 분야 잠재력을 확인한다.