[논문 리뷰] Multiscale Mesh Deformation Component Analysis with Attention-based Autoencoders

Jie Yang, Lin Gao외 4명|arXiv (Cornell University)|2020. 12. 04.

3D Shape Modeling and Analysis참고 문헌 70인용 수 6

한 줄 요약

이 논문은 3D 메시 변형 데이터셋에서 다중 척도, 국소화된 변형 성분을 자동으로 추출하기 위한 새로운 스택형 어텐션 기반 오토에인코더 프레임워크를 제안한다. 다양한 척도에서 활성 변형 영역에 초점을 맞추기 위해 어텐션 메커니즘을 사용하고, 오토에인코더를 스택하여 변형을 계층적으로 분해함으로써, 최신 기술 대비 더 뛰어난 복원 품질과 낮은 왜곡을 보이며 군집에서의 형태 편집이 가능하게 한다.

ABSTRACT

Deformation component analysis is a fundamental problem in geometry processing and shape understanding. Existing approaches mainly extract deformation components in local regions at a similar scale while deformations of real-world objects are usually distributed in a multi-scale manner. In this paper, we propose a novel method to exact multiscale deformation components automatically with a stacked attention-based autoencoder. The attention mechanism is designed to learn to softly weight multi-scale deformation components in active deformation regions, and the stacked attention-based autoencoder is learned to represent the deformation components at different scales. Quantitative and qualitative evaluations show that our method outperforms state-of-the-art methods. Furthermore, with the multiscale deformation components extracted by our method, the user can edit shapes in a coarse-to-fine fashion which facilitates effective modeling of new shapes.

연구 동기 및 목표

• 기존 방법들이 단일 척도에서만 변형 성분을 추출하거나 계층적인 국소 변형을 포착하지 못하는 한계를 해결하기 위해.
• 의미 있는 의미론적 성분을 자동으로 식별하여 다중 척도의 변형 성분을 활용해 거시적에서 미시적까지의 형태 편집을 가능하게 하기 위해.
• 다중 척도 표현을 활용해 데이터 기반 메시 편집에서 형태 복원 정밀도를 향상시키고 왜곡을 줄이기 위해.
• 어텐션 메커니즘을 딥 오토에인코더 아키텍처에 통합하여 변형 패tern에 대해 동적이고 영역별 집중을 가능하게 하기 위해.
• 다양한 공간 척도에서 변형 행동을 분리함으로써 시각적 일관성 있는 편집을 지원하기 위해.

제안 방법

• 각 후속 오토에인코더가 이전 오토에인코더의 잔차를 처리하는 스택형 오토에인코더 아키텍처를 사용하여 변형을 계층적으로 분해한다.
• 메시의 활성 변형 영역을 강조하는 소프트 가중치를 학습하기 위해 어텐션 메커니즘을 도입한다. 이는 후속 오토에인코더가 특정 하위 영역에 집중하도록 이끈다.
• 입력은 형태 컨텍스트 특징을 사용한 메시 기반 표현이며, 이는 국소적 및 전반적인 변형 패턴을 효과적으로 인코딩한다.
• 완전 연결 층에 대해 희박성 정규화를 적용하여 변형 성분의 국소화를 강제하고 과적합을 방지한다.
• 재구성 손실을 사용해 엔드 투 엔드로 네트워크를 훈련시켜 추출된 성분이 원본 메시 변형을 충실하게 재구성할 수 있도록 보장한다.
• 어텐션 마스크는 훈련 중에 학습되며, 깊은 오토에인코더의 특징 추출을 조건화하는 데 사용되어 척도 인식 가능한 분해를 가능하게 한다.

실험 결과

연구 질문

• RQ1 어텐션 기반 딥 오토에인코더 아키텍처는 3D 메시 변형 데이터셋에서 다중 척도, 국소화된 변형 성분을 효과적으로 추출할 수 있는가?
• RQ2 어텐션 메커니즘의 통합이 추출된 변형 성분의 국소화 및 의미론적 의미를 어떻게 향상시키는가?
• RQ3 스택형 오토에인코더 설계는 단일 척도 또는 비스택형 접근 방식에 비해 글로벌 및 로컬 변형의 분해를 얼마나 향상시키는가?
• RQ4 추출된 변형 성분은 왜곡을 줄이고 직관적인 거시적-미시적 형태 편집을 지원할 수 있는가?
• RQ5 이 방법은 얼굴 표정이나 전신 자세와 같은 다양한 변형 유형에 대해 얼마나 일반화되는가?

주요 결과

• 제안된 방법은 정량적 지표와 정성적 시각 평가에서 최신 기술 대비 뛰어난 성능을 보이며, 손목 뒤집기나 尾 꼬리 굽힘과 같은 미세 척도 변형을 포착하는 데 특히 뛰어나다.
• 손목 뒤집기나 꼬리 굽힘과 같은 복잡한 동작을 편집할 경우, 유일하게 제안된 방법만이 전반적인 형태를 왜곡시키지 않고 국소 세부 사항을 유지한다.
• 제거 실험 결과 어텐션 메커니즘을 제거하면 다중 척도 구조가 손실되어 더 국소화되지도 않고 의미 없는 변형 성분이 된다.
• SCAPE 및 Horse 데이터셋에서 복수의 변형 척도를 포함한 경우에 특히 더 뛰어난 복원 품질과 낮은 왜곡을 달성한다.
• 추출된 성분은 의미론적으로 유의미하며, 팔 올리기나 손목 회전과 같이 시각적으로 구별 가능한 변형 행동에 해당한다.
• 이 프레임워크는 사용자가 먼저 거시적 특징을 수정하고 나서 척도별 성분을 사용해 국소 세부 사항을 정밀하게 보완할 수 있도록 효과적인 거시적-미시적 편집을 가능하게 한다.