[논문 리뷰] Neural Pose Transfer by Spatially Adaptive Instance Normalization

Jiashun Wang, Chao Wen외 5명|arXiv (Cornell University)|2020. 03. 16.

Advanced Vision and Imaging인용 수 7

한 줄 요약

이 논문은 점별 대응 관계나 보조 입력 없이도 소스 정체성 메시에서 타겟 정체성 메시로 인간 메시 자세를 전이하는 최초의 엔드 투 엔드 신경망 자세 전이 모델을 제안한다. 공간적 적응형 인스턴스 정규화(SPAdaIN)를 활용함으로써 정체성을 '스타일'로, 자세를 '콘텐츠'로 간주함으로써, 예측되지 않은 정체성과 노이즈가 있는 기하학적 구조에 대해서도 순열 불변성, 강건성, 일반화 능력을 갖춘 변형 전이를 가능하게 한다.

ABSTRACT

Pose transfer has been studied for decades, in which the pose of a source mesh is applied to a target mesh. Particularly in this paper, we are interested in transferring the pose of source human mesh to deform the target human mesh, while the source and target meshes may have different identity information. Traditional studies assume that the paired source and target meshes are existed with the point-wise correspondences of user annotated landmarks/mesh points, which requires heavy labelling efforts. On the other hand, the generalization ability of deep models is limited, when the source and target meshes have different identities. To break this limitation, we proposes the first neural pose transfer model that solves the pose transfer via the latest technique for image style transfer, leveraging the newly proposed component -- spatially adaptive instance normalization. Our model does not require any correspondences between the source and target meshes. Extensive experiments show that the proposed model can effectively transfer deformation from source to target meshes, and has good generalization ability to deal with unseen identities or poses of meshes. Code is available at https://github.com/jiashunwang/Neural-Pose-Transfer .

연구 동기 및 목표

• 소스와 타겟 메시 간의 정점 간 대응 관계가 전혀 없고 정체성이 크게 다른 인간 메시 간 자세 전이 문제를 해결하기 위해.
• 형태 간 격차를 메우기 위해 고비용 수동 애너테이션이나 보조 메시에 의존하는 것을 제거하기 위해.
• 피팅 조정 없이도 예측되지 않은 정체성과 자세에 일반화되는 딥 러닝 모델을 개발하기 위해.
• 입력 정점 순서에 관계없이 유연하게 처리할 수 있도록 가능한 순열 불변성 메시 처리를 실현하기 위해.

제안 방법

• 2D 이미지에서의 스타일 전이 기법을 3D 점군으로 확장하기 위해 공간적 적응형 인스턴스 정규화(SPAdaIN)를 도입한다.
• 소스 자세 메시와 타겟 정체성 메시를 별도로 처리하기 위해 PointNet 유사 인코더-디코더 아키텍처를 사용한다.
• 모든 정점에 걸쳐 인스턴스 정규화를 적용하여 특징이 정점 순서의 순열에 영향을 받지 않도록 한다.
• 타겟 메시 정점에서 유도된 애핀 변환을 학습하여 소스 메시의 특징 조정을 이끌어내며, 정체성 인식 자세 전이를 가능하게 한다.
• 개별 정점 처리를 위해 1×1 컨볼루션 필터를 사용하여 국소 기하학적 맥락을 유지한다.
• 절단된 전역 자세 특징(최대 풀링을 통한)을 분석용 기준으로 사용하지만, 더 높은 성능을 위해 전체 정점 기반 특징 학습을 선호한다.

실험 결과

연구 질문

• RQ1 소스 메시와 타겟 메시 간 명시적 대응 관계가 없이도 신경망 자세 전이가 가능할 수 있는가?
• RQ2 피팅 조정 없이도 예측되지 않은 정체성과 자세에 일반화되는 딥 러닝 모델이 존재할 수 있는가?
• RQ3 입력 메시의 정점 순서에 대해 자세 전이 모델이 순열 불변성을 가지는가?
• RQ4 SPAdaIN는 기존의 정규화 및 스타일 전이 기법과 비교해 3D 메시 변형에서 어떻게 성능을 냈는가?
• RQ5 도메인 특화 훈련을 통해 동물과 같은 비인간 메시로도 일반화가 가능한가?

주요 결과

• 제안된 모델은 볼 수 있는 자세에서는 PMD 1.1×10⁻⁴, 볼 수 없는 자세에서는 9.3×10⁻⁴를 기록하며, 스켈레톤 기반 및 최대 풀링 기반 기준 모델을 모두 능가한다.
• 정점 순서에 관계없이 항상 시각적으로 일관된 결과를 생성함으로써 완전한 순열 불변성을 입증한다.
• FAUST 및 MG-데이터셋의 비-SMPL 메시에 대해서도 자세를 성공적으로 전이하여 얼굴 털과 옷차리 같은 세부 정보를 유지한다.
• 도메인 이격에도 불구하고 캐멜에서 말로의 전이 등 비인간 메시로도 일반화되며, 미세한 잡음 외에는 거의 눈에 띄는 오류가 없다.
• 메시 노이즈에 대해 강건하여, 입력 자세 메시가 손상되어도 정확한 자세를 유지한다.
• 분석 결과 전역 풀링 방식은 전체 정점 기반 특징 학습에 비해 성능이 열 劣하므로, 세밀한 자세 정보 손실이 발생함을 시사한다.