[논문 리뷰] NASA: Neural Articulated Shape Approximation

Boyang Deng, JP Lewis외 5명|arXiv (Cornell University)|2019. 12. 06.

3D Shape Modeling and Analysis참고 문헌 62인용 수 20

한 줄 요약

나사(NASA)는 자세 조건에 따라 결정되는 점유 함수를 사용하여 관절이 있는 3D 형태를 신경 암시적 표현으로 도입하며, 각 부위의 국소 좌표 프레임을 활용해 일반화 성능을 향상시킨다. 이는 미분 가능하고 일정 시간 내에 점유 쿼리를 수행할 수 있게 하며, 최소한의 코드로 메esh 기반 모델에 경쟁 가능한 추적 성능를 달성한다.

ABSTRACT

Efficient representation of articulated objects such as human bodies is an important problem in computer vision and graphics. To efficiently simulate deformation, existing approaches represent 3D objects using polygonal meshes and deform them using skinning techniques. This paper introduces neural articulated shape approximation (NASA), an alternative framework that enables efficient representation of articulated deformable objects using neural indicator functions that are conditioned on pose. Occupancy testing using NASA is straightforward, circumventing the complexity of meshes and the issue of water-tightness. We demonstrate the effectiveness of NASA for 3D tracking applications, and discuss other potential extensions.

연구 동기 및 목표

• 메쉬 기반 표현 방식의 유연성 부족, 토폴로지 제약, 공간 쿼리에 대한 복잡한 가속화 구조 등의 문제를 해결하기 위해 관절이 있는 탄성 물체(예: 인간 신체)를 미분 가능하고 연속적이며 효율적인 방식으로 표현하는 데 도전한다.
• 메쉬 기반 표현 방식의 한계(고정성, 토폴로지 제약, 공간 쿼리에 대한 복잡한 가속화 구조)를 극복한다.
• 메쉬 변환이나 동적 공간 데이터 구조에 의존하지 않고 직접적인, 미분 가능한 점유 쿼리를 가능하게 한다.
• 신체 부위의 국소적 강성 특성을 활용하여 구조화된 신경 아키텍처를 통해 예측 불가능한 자세에 대한 일반화 성능을 향상시킨다.
• 거리 함수 계산 없이 암시적 점유 템플릿을 사용하여 3D 추적 작업에서 표현의 유용성을 입증한다.

제안 방법

• 자세 매개변수에 따라 물체 내부에서는 1, 외부에서는 0을 출력하는 신경 지표(점유) 함수를 사용하여 3D 관절형 형태를 표현한다.
• 형태를 신체 부위로 분해하고, 각 부위는 자체 국소 좌표 프레임과 학습 가능한 신경 점유 함수를 갖는다.
• 전체 자세를 국소 변형 매개변수로 매핑하는 부위별 자세 인코더를 사용하여 국소적 비탄성 변형 모델링을 가능하게 한다.
• 부위별 점유 함수를 미분 가능한 조합 메커니즘을 통해 조합하여 전체 물체의 점유를 재구성한다.
• 메쉬 탐색이나 가속화 구조를 피하여 일정 시간 내 점유 쿼리(지포트 GTX 1080 기준 0.06 ms/쿼리)를 구현한다.
• 거리 함수 계산 없이 점유 모델 기반 최대우도 추정을 통해 자세 최적화를 수행함으로써 3D 추적에 표현을 적용한다.

실험 결과

연구 질문

• RQ1 구조화되지 않은 자세 조건 모델보다 더 나은 일반화 성능을 보이며, 신경 암시적 표현이 관절이 있는 3D 탄성 변형을 효과적으로 모델링할 수 있는가?
• RQ2 부위별 국소 좌표 프레임을 인덕티브 바이어스로 통합함으로써 관절형 형태 표현의 학습 및 일반화 성능가 향상되는가?
• RQ3 미분 가능한 점유 쿼리를 사용하여 기존의 3D 추적 파이프라인을 단순화하고 가속화할 수 있는가?
• RQ4 점유 기반 신경 모델 추적기의 정확도와 구현 복잡도 측면에서 메쉬 기반 기준 모델과의 성능 비교는 어떠한가?
• RQ5 명시적 메쉬 감독이나 기하 제약 없이도 신경 암시적 모델이 복잡한 관절 운동을 얼마나 잘 포착할 수 있는가?

주요 결과

• NASA는 DFaust '하드' 시퀀스에서 평균 교차율(mIoU) 0.948을 기록하여 이전의 기하학적 학습 방법을 능가하고 메쉬 기반 모델에 근접한 성능를 달성했다.
• NASA의 '하드' 시퀀스에서의 카프러 L1 오차는 0.00006으로, 구조화되지 않은 모델의 0.00700보다 훨씬 낮아, 더 뛰어난 재구성 정밀도를 보였다.
• NVIDIA GTX 1080에서 NASA는 0.06 ms/쿼리로 일정 시간 내 점유 쿼리를 제공하여 가속화 데이터 구조가 필요 없음을 입증했다.
• 미분 가능한 점유 모델 덕분에 몇 줄의 코드로만 3D 추적을 수행할 수 있었으며, 기존 메쉬 기반 추적 파이프라인에 비해 극적으로 단순화됨을 보였다.
• NASA는 구조화되지 않은 모델보다 예측 불가능한 자세에 더 잘 일반화되며, 동일한 작업에서 mIoU가 49% 감소하는 데서도 성능 우월성을 유지했다.
• 모델은 전반적인 형태와 변형 패턴을 성공적으로 포착했지만, 얼굴 기능과 같은 고주파 기하학적 세부 정보에서는 아직 어려움을 겪고 있어, 향후 고도화된 암시적 표현 기법으로 개선 가능성이 있음을 시사한다.