[논문 리뷰] Learning Bidirectional LSTM Networks for Synthesizing 3D Mesh Animation Sequences

Yi-Ling Qiao, Lin Gao외 2명|arXiv (Cornell University)|2018. 10. 04.

3D Shape Modeling and Analysis참고 문헌 39인용 수 12

한 줄 요약

이 논문은 3차원 메시 애니메이션 시퀀스를 생성하고 완성하기 위해 메시 기반 컨볼루션 네트워크와 함께 새로운 이방향 LSTM 아키텍처를 제안한다. 형태 변형 표현과 가중치 공유 이방향 구조를 활용함으로써, 조건부 생성, 다양성을 갖춘 시퀀스 완성, 더 많은 초기 프레임이 제공될수록 정확도 향상이 가능해지며, 정성적 및 정량적 평가에서 이전 방법들을 능가한다.

ABSTRACT

In this paper, we present a novel method for learning to synthesize 3D mesh animation sequences with long short-term memory (LSTM) blocks and mesh-based convolutional neural networks (CNNs). Synthesizing realistic 3D mesh animation sequences is a challenging and important task in computer animation. To achieve this, researchers have long been focusing on shape analysis to develop new interpolation and extrapolation techniques. However, such techniques have limited learning capabilities and therefore can produce unrealistic animation. Deep architectures that operate directly on mesh sequences remain unexplored, due to the following major barriers: meshes with irregular triangles, sequences containing rich temporal information and flexible deformations. To address these, we utilize convolutional neural networks defined on triangular meshes along with a shape deformation representation to extract useful features, followed by LSTM cells that iteratively process the features. To allow completion of a missing mesh sequence from given endpoints, we propose a new weight-shared bidirectional structure. The bidirectional generation loss also helps mitigate error accumulation over iterations. Benefiting from all these technical advances, our approach outperforms existing methods in sequence prediction and completion both qualitatively and quantitatively. Moreover, this network can also generate follow-up frames conditioned on initial shapes and improve the accuracy as more bootstrap models are provided, which other works in the geometry processing domain cannot achieve.

연구 동기 및 목표

• 기하학적 메시의 비정규적 토폴로지와 복잡한 시간 동적 특성으로 인해 여전히 탐색이 부족한 딥러닝 기반 3차원 메시 애니메이션 시퀀스 생성 문제를 해결한다.
• 초기 프레임에 기반한 조건부 메시 시퀀스 생성을 가능하게 하여, 더 많은 부트스트랩 모델이 제공될수록 현실성과 다양성이 향상된다.
• 핵심 프레임의 끝점에서 중간 프레임을 생성함으로써 시퀀스 완성 문제를 해결하고, 다양한 자연스러운 운동 시퀀스를 생성한다.
• 공유 가중치를 가진 이방향 학습 전략을 통해 반복적 생성에서의 오차 누적 문제를 완화한다.
• 메시 시퀀스를 직접 다루는 딥러닝 프레임워크를 도입함으로써 기하처리 분야의 최첨단 기술을 발전시킨다.

제안 방법

• 삼각형 메시에서 공간적 특징을 추출하기 위해 형태 변형 표현에 기반한 메시 컨볼루션 신경망(CNN)을 사용한다.
• 공유 가중치를 가진 이방향 LSTM 아키텍처가 정방향 및 역방향으로 시간적 특징을 처리하여 장거리 의존성을 모델링한다.
• 반복적 프레임 예측 중 오차 누적을 줄이고 학습을 안정화시키기 위해 이방향 생성 손실을 사용한다.
• 시퀀스 완성의 경우, 두 개의 핵심 프레임을 끝점으로 간주하고 정방향 및 역방향 생성을 실행한 후 수렴 지점에서 결과를 연결한다.
• 초기 프레임(부트스트랩 모델)을 LSTM에 입력하여 조건부 생성을 구현하며, 임의의 벡터를 은닉 상태에 주입하여 다양한 출력을 생성한다.
• 3층의 LSTM(128개의 은닉 유닛)과 3층의 메시 CNN(tanh 활성화 함수)을 사용하며, 기본 파rameter를 가진 Adam 옵timizer로 학습한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 기존의 보간 및 외삽 기법의 한계를 극복하고 메시 데이터에서 직접 현실적인 3차원 메시 애니메이션 시퀀스를 생성할 수 있는가?
• RQ2 공유 가중치를 가진 이방향 LSTM은 오차 누적을 줄이며 시퀀스 생성 및 완성에 어떻게 기여하는가?
• RQ3 동일한 첫 번째 프레임이 주어져도 모델은 다양한 현실적인 운동 시퀀스를 생성할 수 있는가?
• RQ4 더 많은 부트스트랩 모델을 제공할 경우 생성된 메시 시퀀스의 정확성과 현실성은 어느 정도 향상되는가?
• RQ5 시퀀스 완성 작업에서 제안된 방법은 보간 기반 및 단방향 생성 전략과 비교해 어떻게 성능을 냈는가?

주요 결과

• 제안된 방법은 메시 시퀀스 예측 및 완성에 있어 정성적 및 정량적 평가에서 기존 기술을 모두 능가한다.
• 이방향 생성 손실은 학습을 크게 안정화시키고 오차 누적을 줄여 시퀀스의 정지 또는 발산을 방지한다.
• LSTM 상태에 임의의 벡터를 주입함으로써 동일한 핵심 프레임에서 다양한 운동 시퀀스를 생성할 수 있으며, 이는 결정론적 보간 방법과는 다릅니다.
• 더 많은 부트스트랩 모델이 제공될수록 생성 정확도가 향상되며, 이는 이전 기하처리 방법에서 확보되지 않은 능력이다.
• 시퀀스 완성 결과에서는 이방향 접근이 단방향 또는 보간 기반 방법보다 더 자연스럽고 다양한 모핑을 생성한다.
• 다이나 데이터셋을 통해 다양한 신체 유형과 동작에서 현실적인 인간 운동 시퀀스를 성공적으로 생성하였다.