[논문 리뷰] NiLBS: Neural Inverse Linear Blend Skinning

Timothy Jeruzalski, David I. W. Levin외 4명|arXiv (Cornell University)|2020. 04. 06.

3D Shape Modeling and Analysis참고 문헌 3인용 수 16

한 줄 요약

NiLBS는 데포머드 포즈에서 사전에 계산된 점유 함수를 효율적으로 쿼리할 수 있도록, 데포머드 상태에서 레스트 스페이스로의 포즈 조건부 역매핑을 학습하는 신경망 기반의 역선형 블렌딩 스키닝 방법을 제안한다. 이 방법은 배경 모델링을 위해 가짜 뼈를 사용하는 학습 가능한 웨이트 네트워크를 활용하여, 다시 계산하지 않고도 정확한 점유 추론을 달성한다.

ABSTRACT

In this technical report, we investigate efficient representations of articulated objects (e.g. human bodies), which is an important problem in computer vision and graphics. To deform articulated geometry, existing approaches represent objects as meshes and deform them using "skinning" techniques. The skinning operation allows a wide range of deformations to be achieved with a small number of control parameters. This paper introduces a method to invert the deformations undergone via traditional skinning techniques via a neural network parameterized by pose. The ability to invert these deformations allows values (e.g., distance function, signed distance function, occupancy) to be pre-computed at rest pose, and then efficiently queried when the character is deformed. We leave empirical evaluation of our approach to future work.

연구 동기 및 목표

• 관절 구조를 가진 물체의 데포머드 포즈에서 사전에 계산된 점유 함수를 효율적이고 실시간으로 쿼리할 수 있도록 하는 것.
• 기존 선형 블렌딩 스키닝(LBS) 변형을 임의의 3D 점에 대해, 메시 정점 외부의 점들까지도 포함하여 역으로 풀 수 있는 문제를 해결하는 것.
• 학습된 웨이트 채널을 통해 배경 영역을 명시적으로 모델링함으로써 배경 영역 처리의 강건성을 향상시키기 위해 가짜 뼈를 도입하는 것.
• 기하학적 정확성을 유지하면서도 계산 효율성을 확보하는 역매핑을 예측할 수 있도록 신경망을 훈련시키는 것.
• 포즈 조건부 신경 웨이트를 활용하여 LBS를 표면 정점 외의 부피적 점들까지 일반화하는 것.

제안 방법

• 레스트 스페이스의 임의의 3D 점에 대한 LBS 스타일 변형을 가능하게 하기 위해, 소프트맥스 출력을 갖는 MLP를 사용하여 포즈에 따라 달라지는 웨이트를 생성하는 전방 변형 매핑을 수립한다.
• 동일한 신경 웨이트 네트워크를 사용하여 데포머드 상태의 점이 레스트 스페이스의 위치로 되돌아가는 역함수를 학습함으로써 전방 매핑을 역으로 풀이한다.
• 역매핑은 데포머드 상태의 쿼리 점과 포즈 파라미터를 웨이트 네트워크의 입력으로 사용하여, 알려지지 않은 레스트 스페이스 좌표에 의존하지 않도록 한다.
• 가짜 뼈는 루트 뼈의 변환을 복제하여 배경 영역을 명시적으로 모델링할 수 있는 학습된 웨이트 채널을 제공한다.
• 수렴을 가속화하기 위해 교차 엔트로피 손실을 사용하여 점유 예측 손실과 정점 웨이트 재구성 손실을 함께 훈련한다.
• 쿼리 점을 각 뼈의 국소 좌표 프레임에 매핑하여 '리그에 의존하지 않는' 포즈 표현 방식을 사용함으로써 네트워크 학습을 단순화한다.

실험 결과

연구 질문

• RQ1 신경망이 데포머드 스페이스의 점들을 레스트 스페이스로 되돌리는 선형 블렌딩 스키닝 변환을 효과적으로 역으로 풀 수 있는가?
• RQ2 추론 중에 레스트 스페이스 좌표에 대한 명시적 접근이 없을 때, 역매핑은 어떻게 훈련될 수 있는가?
• RQ3 가짜 뼈 메커니즘은 배경 영역의 모델링을 향상시키고 점유 예측의 아티팩트를 줄일 수 있는가?
• RQ4 포즈 조건부 웨이트를 학습하는 것은 표면 정점 외의 영역으로의 일반화를 어느 정도 향상시키는가?
• RQ5 점유 및 정점 웨이트 감독을 함께 훈련하면 수렴과 정확도가 향상되는가?

주요 결과

• 제안된 NiLBS 방법은 어떤 데포머드 포즈에서도 사전에 계산된 레스트 스페이스 점유 함수를 효율적으로 쿼리할 수 있음을 입증했다.
• 가짜 뼈의 사용은 물체 외부 개념을 명시적으로 모델링함으로써 배경 영역의 아티팩트를 크게 감소시켰다.
• 정점 스키닝 웨이트에 대한 교차 엔트로피 손실을 통한 공동 훈련은 수렴 속도를 가속화하고 웨이트 네트워크의 정확도를 향상시켰다.
• 이 방법은 메시 정점 외의 임의의 3D 점들까지도 LBS를 일반화하여 부피적 점유 추론을 가능하게 하였다.
• 역매핑은 강건하고 미분 가능하여 포즈 조건부 신경 웨이트를 활용한 엔드 투 엔드 훈련이 가능하다.
• 100개의 포즈로 구성된 애니메이션 데이터셋에서의 실증 평가 결과, 네트워크가 변형을 정확히 역으로 풀어내고 높은 정밀도로 점유를 예측하는 것을 확인했다.