[논문 리뷰] HandOccNet: Occlusion-Robust 3D Hand Mesh Estimation Network

JoonKyu Park, Yeonguk Oh외 3명|arXiv (Cornell University)|2022. 03. 28.

Human Pose and Action Recognition인용 수 13

한 줄 요약

HandOccNet는 두 가지 트랜스포머 기반 모듈인 FIT(특징 주입 트랜스포머)와 SET(공간 강화 트랜스포머)를 도입하여 부분 가림에 강건한 3D 손 메시 추정을 달성하는 새로운 3D 손 메시 추정 네트워크이다. FIT는 소프트맥스 및 시그모이드 기반 주의를 조합한 하이브리드 주의 메커니즘을 사용하여 손 특징을 가림 영역에 주입하는 반면, SET는 잔차 학습을 통한 자기주의를 활용해 특징을 정밀하게 보완하여 Dex-YCB 데이터셋에서 14.04 MPJPE 및 5.80 PA-MPJPE를 기록하며 기존 방법을 능가한다.

ABSTRACT

Hands are often severely occluded by objects, which makes 3D hand mesh estimation challenging. Previous works often have disregarded information at occluded regions. However, we argue that occluded regions have strong correlations with hands so that they can provide highly beneficial information for complete 3D hand mesh estimation. Thus, in this work, we propose a novel 3D hand mesh estimation network HandOccNet, that can fully exploits the information at occluded regions as a secondary means to enhance image features and make it much richer. To this end, we design two successive Transformer-based modules, called feature injecting transformer (FIT) and self- enhancing transformer (SET). FIT injects hand information into occluded region by considering their correlation. SET refines the output of FIT by using a self-attention mechanism. By injecting the hand information to the occluded region, our HandOccNet reaches the state-of-the-art performance on 3D hand mesh benchmarks that contain challenging hand-object occlusions. The codes are available in: https://github.com/namepllet/HandOccNet.

연구 동기 및 목표

• 손이 물체나 자기 교차로 인해 심하게 가려진 경우 정확한 3D 손 메시 추정 문제를 해결하기 위해.
• 복잡한 손-물체 상호작용과 부분적 가림이 존재하는 실제 환경에서의 강건성 향상을 위해.
• 가림 영역 내에서 국소적 및 장거리 공간적 의존성을 효과적으로 활용하는 딥 러닝 아키텍처를 개발하기 위해.
• MPJPE 및 PA-MPJPE 메트릭에서 HO-3D 및 Dex-YCB와 같은 벤치마크 데이터셋에서 기존 방법을 능가하기 위해.
• 가림 영역에서 특징 주입 및 보완에 하이브리드 주의 메커니즘이 효과적인지 검증하기 위해.

제안 방법

• FIT는 이중 주의 메커니즘을 사용한다: 전역적 맥락을 위해 소프트맥스 기반 주의와 노이즈 주의 점수를 억제하기 위해 시그모이드 기반 주의를 조합한다. 이를 통해 정제된 주의 맵을 생성한다.
• 이 주의 맵은 주요 특징 맵에서의 값 특징에 적용되어 잔차 특징을 생성하고, 레이어 정규화 및 스킵 연결을 포함한 피드포워드 네트워크를 통해 추가로 정제된다.
• SET는 표준 자기주의 메커니즘을 사용하며, 쿼리, 키, 밸류 투영을 수행한 후 잔차 연결 및 피드포워드 정제를 통해 공간 표현을 향상시킨다.
• 네트워크는 FIT와 SET를 계단식으로 통합한다: FIT가 가림 영역에 손 정보를 주입하고, SET가 이를 바탕으로 특징을 추가로 정밀하게 보완하여 메시 추정 성능을 향상시킨다.
• 스페이셜 토큰 간의 다중 모odal 주의 계산을 가능하게 하기 위해 1×1 컨볼루션과 리셰이프 연산을 특징 맵에 적용한다.
• 모델는 표준 3D 메시 감독을 사용하여 학습되며, 프로크루스테스 정렬 전후로 MPJPE 및 PA-MPJPE 메트릭을 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 소프트맥스 및 시그모이드 기반 주의를 조합한 하이브리드 주의 메커니즘이 가림 영역의 특징 주입에 성능 향상을 이끌 수 있는가?
• RQ2 FIT 및 SET 모듈의 계단식 사용이 심한 가림 상황에서 3D 손 메시 추정 성능을 어떻게 향상시키는가?
• RQ3 제시된 방법이 Dex-YCB와 같이 대규모이자 심한 가림이 존재하는 데이터셋에서 최신 기술 수준의 방법을 능가하는가?
• RQ4 프로크루스테스 정렬 없이도 모델이 정확도를 유지하는 정도는 어떠한가? 이는 내재된 기하학적 강건성을 시사한다.
• RQ5 모델은 실제 환경에서 관찰되는 다양한 손-물체 상호작용 및 복잡한 가림 패턴에 일반화 가능한가?

주요 결과

• Dex-YCB 데이터셋에서 HandOccNet은 14.04 MPJPE 및 5.80 PA-MPJPE를 기록하며, 두 번째로 우수한 성능을 보인 Liu et al. [8]의 15.28 MPJPE 및 6.58 PA-MPJPE를 능가한다.
• 프로크루스테스 정렬 이전에도 HandOccNet은 HO-3D에서 24.9 MPJPE를 기록하여 Pose2Mesh(33.2), Hasson et al.(55.2), I2L-MeshNet(26.8), Liu et al.(30.0)을 모두 초월한다.
• HO-3D에서 심한 가림이 발생한 이미지에 대한 정성적 결과 분석에서 FIT의 효과적인 특징 주입 덕분에 HandOccNet이 가려진 손가락(특히 엄지)을 더 잘 재구성한다.
• FPHA에서의 시각적 비교 결과, HandOccNet은 Hasson et al. [6]보다 더 정확하고 일관성 있는 메시 재구성을 제공하며, 특히 도전적인 가림 상황에서 뛰어난 성능을 보인다.
• 제거 실험 결과, FIT의 하이브리드 주의 메커니즘이 가림 영역에서의 잘못된 양성 결과를 감소시켜 주의 맵 품질을 크게 향상시킨다는 것이 확인되었다.
• FIT와 SET의 조합은 큰 부분이 가려진 상황에서도 세밀한 손의 기하학적 구조를 유지하는 데 기여한다.