[논문 리뷰] High-order Differentiable Autoencoder for Nonlinear Model Reduction

Siyuan Shen, Yin Yang외 5명|arXiv (Cornell University)|2021. 02. 19.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 물리 기반 시뮬레이션에서 비선형 모델 축소를 위한 고차 미분 가능 딥 오토에인코더(DAE)를 제안하며, 복소수 유한차분(CSFD)과 역방향 자동미분을 조합하여 두 번째 및 세 번째 미분을 효율적으로 계산함으로써 실시간 탄성 변형을 가능하게 한다. 이 방법은 GPU에서 깊고 고차원적인 DAE(10+층)를 사용하여 실시간 성능를 달성하며, 복잡한 비선형 역학을 포착하는 데에서 선형 축소 기법을 능가한다.

ABSTRACT

This paper provides a new avenue for exploiting deep neural networks to improve physics-based simulation. Specifically, we integrate the classic Lagrangian mechanics with a deep autoencoder to accelerate elastic simulation of deformable solids. Due to the inertia effect, the dynamic equilibrium cannot be established without evaluating the second-order derivatives of the deep autoencoder network. This is beyond the capability of off-the-shelf automatic differentiation packages and algorithms, which mainly focus on the gradient evaluation. Solving the nonlinear force equilibrium is even more challenging if the standard Newton's method is to be used. This is because we need to compute a third-order derivative of the network to obtain the variational Hessian. We attack those difficulties by exploiting complex-step finite difference, coupled with reverse automatic differentiation. This strategy allows us to enjoy the convenience and accuracy of complex-step finite difference and in the meantime, to deploy complex-value perturbations as collectively as possible to save excessive network passes. With a GPU-based implementation, we are able to wield deep autoencoders (e.g., $10+$ layers) with a relatively high-dimension latent space in real-time. Along this pipeline, we also design a sampling network and a weighting network to enable \emph{weight-varying} Cubature integration in order to incorporate nonlinearity in the model reduction. We believe this work will inspire and benefit future research efforts in nonlinearly reduced physical simulation problems.

연구 동기 및 목표

• 탄성 고체의 복잡한 비선형 역학을 포착하지 못하는 선형 모델 축소의 한계를 해결하기 위해.
• 고차 미분 평가의 계산적 과제를 극복함으로써 딥 오토에인코더를 사용하여 정확하고 실시간 물리 기반 시뮬레이션을 가능하게 하기 위해.
• 뉴턴 역학의 하위공간 시뮬레이션에 필요한 두 번째 및 세 번째 미분을 지원하는 미분 가능 DAE 프레임워크를 개발하기 위해.
• 효율적이고 국소적인 비선형 축소를 위해 신경 컷처처와 도메인 분할을 통합하기 위해.
• 고차 미분 가능 DAE의 실현 가능성과 성능을 실시간 애니메이션 및 시뮬레이션에서 입증하기 위해.

제안 방법

• 고차 미분을 효율적으로 계산할 수 있도록 복소수 유한차분(CSFD)을 딥 오토에인코더에 통합하여 시간에 따라 변화하는 탄성 공간으로의 정확한 투영을 가능하게 한다.
• CSFD를 역방향 자동미분과 조합하여 네트워크를 O(n)번 이내로 통과시킴으로써 DAE의 일차, 이차, 삼차 미분을 평가한다.
• 학습 가능한 가중치를 갖는 신경 컷처처 네트워크를 설계하여 비선형 축소 공간에서의 적응형 비균일 샘플링과 정확한 통합을 가능하게 한다.
• 변형 하위분할 기반의 도메인 분할을 적용하여 국소 비선형 하위공간을 도입함으로써 복잡한 모델에서 효율성과 현실감을 향상시킨다.
• 일반화된 뉴턴-오일러 방정식을 사용하여 국소 변형과 전역 강체 운동을 결합하여 자유 날개 운동 시뮬레이션을 수행한다.
• 딥이고 고차원적인 DAE(예: 10+층, 잠재공간 > 50)를 사용하여 실시간 시뮬레이션을 달성하기 위해 GPU 가속 파이프라인을 구현한다.

Figure 1. In this paper, we exploit deep autoencoder (DAE) networks to accelerate physics-based simulation. In order to model nonlinear subspace dynamics accurately, second- and high-order derivatives of the deep decoder net must be efficiently evaluated to match the subspace simulation frame rate.

실험 결과

연구 질문

• RQ1 딥 오토에인코더의 고차 미분을 효율적으로 계산할 수 있는가? 이를 통해 물리 기반 시뮬레이션에서 정확한 비선형 모델 축소가 가능할까?
• RQ2 복소수 유한차분은 딥 신경망에 어떻게 적용되어 뉴턴 역학을 위한 이차 및 삼차 미분 평가를 지원할 수 있는가?
• RQ3 미분 가능한 DAE는 라그랑주 역학에 통합되어 실시간 탄성 변형을 시뮬레이션할 수 있는가?
• RQ4 제안된 방법은 복잡한 비선형 변형 행동을 포착하는 데에서 선형 모델 축소 기법에 비해 어떻게 성능이 뛰어나게 되는가?
• RQ5 도메인 분할과 신경 컷처처는 대규모이고 기하학적으로 복잡한 모델에서 비선형 모델 축소의 확장성과 정확도를 향상시킬 수 있는가?

주요 결과

• 제안된 CSFD 통합 DAE는 깊고 고차원적인 잠재공간(10+층)을 갖는 딥 오토에인코더를 사용하여 비선형 탄성 고체의 실시간 시뮬레이션을 가능하게 한다.
• 복잡한 모델, 예를 들어 320개의 줄을 가진 펌프볼과 30개 이상의 자유도를 가진 낙하하는 래비트에 대해 실시간 성능(FPS)을 달성하며, 단일 코어 전체 시뮬레이션보다 뛰어난 성능를 보인다.
• 학습 가능한 가중치를 갖는 신경 컷처처의 사용은 비선형 축소 공간에서 통합 정확도와 샘플링 효율성을 향상시킨다.
• 국소 비선형 하위공간(예: 도메인당 n_p=10, n_q=6)을 갖는 도메인 분할은 캑터스와 같은 복잡한 모델의 확장성 있고 세밀한 시뮬레이션을 가능하게 한다.
• 일반화된 뉴턴-오일러 방정식을 사용하여 자유 날개 운동 물체의 안정적인 시뮬레이션을 지원하며, 암묵적 페널티 힘을 통한 충돌 처리 기능도 제공한다.
• CSFD를 통한 고차 미분 가능성 덕분에 기존 자동미분 도구가 지원하지 못하는 비선형 하위공간 역학에서 관성 효과를 정확히 모델링할 수 있음을 입증했다.

Figure 2. Increased nonlinearity better fits training poses but also makes the network more wiggling.