[논문 리뷰] Spectral Graphormer: Spectral Graph-based Transformer for Egocentric Two-Hand Reconstruction using Multi-View Color Images

Tze Ho Elden Tse, Franziska Mueller외 9명|arXiv (Cornell University)|2023. 08. 21.

Medical Imaging and Analysis인용 수 6

한 줄 요약

이 논문은 스펙트럼 그래프 컨volution과 소프트 어텐션을 활용한 멀티뷰 특징 융합 기반의 새로운 트랜스포머 기반 프레임워크인 Spectral Graphormer를 제안한다. 이는 다중 뷰 RGB 이미지에서 고해상도 이중 손 재구성에 효과적으로 활용되며, 확장된 전腕(팔뚝)을 포함한 현실적이고 물리적으로 타당한 메시를 생성한다. 제안된 방법은 합성 및 실재 데이터에서 최신 기술 수준의 성능을 달성하며, AR/VR 응용 분야에서 강력한 일반화 능력과 실시간 임베딩 가능성을 보여준다.

ABSTRACT

We propose a novel transformer-based framework that reconstructs two high fidelity hands from multi-view RGB images. Unlike existing hand pose estimation methods, where one typically trains a deep network to regress hand model parameters from single RGB image, we consider a more challenging problem setting where we directly regress the absolute root poses of two-hands with extended forearm at high resolution from egocentric view. As existing datasets are either infeasible for egocentric viewpoints or lack background variations, we create a large-scale synthetic dataset with diverse scenarios and collect a real dataset from multi-calibrated camera setup to verify our proposed multi-view image feature fusion strategy. To make the reconstruction physically plausible, we propose two strategies: (i) a coarse-to-fine spectral graph convolution decoder to smoothen the meshes during upsampling and (ii) an optimisation-based refinement stage at inference to prevent self-penetrations. Through extensive quantitative and qualitative evaluations, we show that our framework is able to produce realistic two-hand reconstructions and demonstrate the generalisation of synthetic-trained models to real data, as well as real-time AR/VR applications.

연구 동기 및 목표

• 에고세트릭, 다중 뷰 이중 손 재구성에서 확장된 전腕을 포함한 적합한 데이터셋 부족 문제를 해결하기 위해.
• 루트 자세의 절대값을 직접 회귀하는 딥 러닝 프레임워크를 개발하여, 루트 관절 정렬에 의존하지 않도록 하기 위해.
• 스펙트럼 그래프 기반 디코딩과 최적화 기반 정밀 조정을 통해 메시의 현실성과 물리적 타당성을 향상시키기 위해.
• 대규모 합성 데이터셋과 실존하는 다중 카메라 촬영을 통해 합성 데이터에서 실세계 데이터로의 효과적인 일반화를 가능하게 하기 위해.
• 효율적인 토큰 설계와 파라미터 압축을 통해 모델 복잡성과 계산 비용을 감소시키기 위해.

제안 방법

• 지역별 특징을 생성하기 위해 소프트 어텐션 기반 멀티뷰 이미지 특징 융합 전략을 제안하여, 공간 정보를 유지하면서 모델 크기를 35% 감소시켰다.
• 스펙트럼 그래프 이론의 그래프 라플라시안 성질을 트랜스포머 인코더와 디코더에 통합한 스펙트럼 그래프 기반 트랜스포머 아키텍처를 도입하였다.
• 粗-세밀한 스펙트럼 그래프 컨볼루션 디코더를 사용하여 업샘플링 중 메시의 평탄함을 향상시켜 메시 품질과 세부 정보 유지에 기여하였다.
• 재구성된 메시의 자기 관통을 방지하고 물리적 타당성을 향상시키기 위해 추론 단계에서 최적화 기반 정밀 조정 단계를 적용하였다.
• 모델을 사전학습하기 위해 다양한 에고세트릭 뷰, 조명, 배경을 포함한 대규모 합성 데이터셋을 구축하였으며, 평가를 위해 실존하는 다중 카메라 데이터셋을 확보하였다.
• 트랜스포머 인코더에서 정점 쿼리 수($V'$)를 점진적으로 감소시킴으로써 모델 압축을 달성하였으며, 계산 비용을 최소화하기 위해 $V'$의 감소를 $C$의 감소보다 우선시하였다.

실험 결과

연구 질문

• RQ1 에고세트릭 환경에서 다중 뷰 RGB 이미지로부터 고해상도 이중 손 메시를 확장된 전腕을 포함해 효과적으로 재구성할 수 있는 트랜스포머 기반 아키텍처가 존재하는가?
• RQ2 소프트 어텐션 기반 멀티뷰 특징 융합 방식은 기존의 연결 또는 풀링 방식과 비교해 성능과 모델 효율성 측면에서 어떻게 다를까?
• RQ3 합성 데이터에서 사전학습한 모델이 복잡한 가림과 조명 조건을 가진 실세계, 실외 이미지로의 일반화 능력은 어느 정도일까?
• RQ4 다양한 스펙트럼 필터(Gaussian, Laplacian, Chebyshev)는 메시 재구성 정확도와 계산 효율성에 어떤 영향을 미치는가?
• RQ5 최적화 기반 정밀 조정은 재구성된 손 메시에서 자기 관통 현상을 제거함으로써 물리적 타당성을 크게 향상시킬 수 있는가?

주요 결과

• 소프트 어텐션 기반 융합 전략은 모든 융합 방법 중에서 가장 낮은 손 재구성 오차(6.7 mm)를 달성하면서도 모델 크기를 35% 감소시켰다.
• Chebyshev 스펙트럼 필터($g_{cheb_3}$)가 성능과 효율성의 최적 균형을 이룩하여 합성 데이터셋에서 손 오차 1.38 mm를 기록하였다.
• 사전학습된 백본을 동결한 상태에서 파인튜닝을 수행했을 때, 실재 데이터셋에서 손 오차 1.38 mm를 달성하여 실세계 데이터로의 효과적인 일반화 능력을 입증하였다.
• 최적화 기반 정밀 조정 단계는 정성적 결과를 통해 다양한 자세에서 자기 관통 현상이 수정되는 것으로 나타나 메시 품질을 크게 향상시켰다.
• 모델 압축 실험 결과, EfficientNet-B0 백본을 사용할 경우 $V'$를 804에서 80으로 감소시켜 총 파라미터 수를 34.2M로 줄였지만 손 오차는 6.89 mm를 유지하여 확장 가능성과 타당성을 입증하였다.
• 프레임워크는 복잡한 자기 가림, 어려운 조명 조건에서의 정성적 결과를 통해 AR/VR 응용 분야에 적합한 실시간 추론 성능을 확보하였다.