[논문 리뷰] FLAME: Free-form Language-based Motion Synthesis & Editing

Ji‐Hoon Kim, Jiseob Kim외 1명|arXiv (Cornell University)|2022. 09. 01.

Human Motion and Animation인용 수 4

한 줄 요약

FLAME는 자유형 텍스트 기반 동작 합성 및 편집을 위한 확산 기반 생성 모델로, 가변 길이의 동작 시퀀스를 처리하고 사전 훈련된 언어 모델과의 크로스 어텐션을 가능하게 하는 새로운 트랜스포머 디코더 아키텍처를 활용한다. HumanML3D, BABEL, KIT 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 피지컬 품질이 높고 다양한 동작를 생성 및 편집할 수 있으며, 미세조정 없이도 가능하다.

ABSTRACT

Text-based motion generation models are drawing a surge of interest for their potential for automating the motion-making process in the game, animation, or robot industries. In this paper, we propose a diffusion-based motion synthesis and editing model named FLAME. Inspired by the recent successes in diffusion models, we integrate diffusion-based generative models into the motion domain. FLAME can generate high-fidelity motions well aligned with the given text. Also, it can edit the parts of the motion, both frame-wise and joint-wise, without any fine-tuning. FLAME involves a new transformer-based architecture we devise to better handle motion data, which is found to be crucial to manage variable-length motions and well attend to free-form text. In experiments, we show that FLAME achieves state-of-the-art generation performances on three text-motion datasets: HumanML3D, BABEL, and KIT. We also demonstrate that editing capability of FLAME can be extended to other tasks such as motion prediction or motion in-betweening, which have been previously covered by dedicated models.

연구 동기 및 목표

• 자유형 언어 기술을 지원하는 통합 틀을 개발하여 텍스트 기반 3D 동작 합성 및 편집을 가능하게 한다.
• 이전 모델이 단순한 동작 레이블에 의존함으로써 다양성과 제어력이 제한되는 문제를 해결한다.
• 모델의 미세조정 없이도 편집, 예측, 중간 보간 등 다양한 조건부 생성을 가능하게 한다.
• 확산 모델을 본질적으로 시공간적이고 가변 길이인 동작 영역에 적합하게 조정한다.
• 분류기 자유 가이던스와 특화된 트랜스포머 아키텍처를 활용하여 생성 품질과 다양성을 향상시킨다.

제안 방법

• 1,000단계의 시간 스텝 동안 등방성 가우시안 노이즈에서 동작를 노이즈 제거하도록 훈련하는 확산 기반 생성 프레임워크를 제안하며, 코스인 베타 스케줄링을 사용한다.
• 자기 어텐션, 크로스 어텐션 및 동작 길이 토큰을 포함한 트랜스포머 디코더 기반 아키텍처를 도입하여 가변 길이 시퀀스를 모델링하고 자유형 텍스트에 주의를 기울인다.
• 텍스트 프롬프트를 인코딩하기 위해 사전 훈련된 언어 모델(RoBERTa)을 사용하며, CLS 토큰과 첫 20개 토큰을 크로스 어텐션을 통해 동작 생성을 안내한다.
• 추론 중에 분류기 자유 가이던스를 적용하며, 25%의 텍스트 입력을 빈 문자열로 대체하여 생성 품질과 일치도를 제어할 수 있도록 한다.
• 출력 시퀀스 길이를 명시적으로 조건부로 지정하기 위해 동작 길이 토큰을 도입하여 생성 일관성을 향상시킨다.
• 표현 안정성 향상과 성능 향상을 위해 훈련 중 언어 모델을 동결하며, 이는 추론 연구를 통해 검증되었다.

실험 결과

연구 질문

• RQ1 확산 기반 모델은 자유형 텍스트 기술과 잘 일치하는 고해상도, 다양한 3D 동작를 생성할 수 있는가?
• RQ2 동일한 모델이 미세조정 없이도 텍스트 프롬프트만으로 동작 합성과 편집을 모두 수행할 수 있는가?
• RQ3 동작 길이 토큰과 크로스 어텐션을 갖춘 제안된 트랜스포머 아키텍처는 생성 품질과 제어력을 어떻게 향상시키는가?
• RQ4 편집을 통해 예측 및 중간 보간과 같은 다른 동작 작업으로 일반화 가능한가?
• RQ5 확산 기반 동작 생성에서 샘플링 속도와 동작 품질 사이의 상충 관계는 어떠한가?

주요 결과

• FLAME는 FID, FVD, R-precision 등 다양한 지표에서 HumanML3D, BABEL, KIT 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.
• KIT 데이터셋에서, TEMOS가 사용한 동일한 파이프라인을 기준으로 평가했을 때 기존 방법을 뛰어넘는 성능을 보이며 강력한 일반화 능력을 입증한다.
• 1개 프롬프트당 10개 샘플을 기준으로 높은 관절 분산을 보이며, 강력한 다중모odal성과 표현력을 나타낸다.
• 3회 시험 평균을 기준으로 높은 mCLIP 점수를 확보하여 텍스트 프롬프트와의 강력한 일치도를 확인한다.
• 추론 연구에서 언어 모델을 동결하고 전체 언어 모델 출력을 크로스 어텐션에 활용하는 것이 성능 향상에 기여함을 입증한다.
• 샘플링 속도가 느리지만(1,000단계에서 30초 이상), 50~100단계로 줄여도 품질이 유지되어 빠른 추론과 최소한의 해상도 손실을 가능하게 한다.