[논문 리뷰] Avatar-independent scripting for real-time gesture animation

Richard Kennaway|arXiv (Cornell University)|2015. 02. 10.

Human Motion and Animation참고 문헌 29인용 수 9

한 줄 요약

이 논문은 HamNoSys 표기법을 기반으로 한 새로운 애벌리에이션 독립적 스크립팅 언어인 SiGML을 제안한다. 이는 수기 수신 언어의 실시간 제스처 애니메이션을 위한 것으로, 고수준의 자세 및 움직임 기술을 바탕으로 자연스럽고 애벌리에이션에 의존하지 않는 동작 데이터를 자동 생성하며, 전통적인 동작 클립에 비해 저장 용량을 크게 줄이고 계산 비용을 최소화하여 실시간 성능을 달성한다.

ABSTRACT

When animation of a humanoid figure is to be generated at run-time, instead of by replaying pre-composed motion clips, some method is required of specifying the avatar's movements in a form from which the required motion data can be automatically generated. This form must be of a more abstract nature than raw motion data: ideally, it should be independent of the particular avatar's proportions, and both writable by hand and suitable for automatic generation from higher-level descriptions of the required actions. We describe here the development and implementation of such a scripting language for the particular area of sign languages of the deaf, called SiGML (Signing Gesture Markup Language), based on the existing HamNoSys notation for sign languages. We conclude by suggesting how this work may be extended to more general animation for interactive virtual reality applications.

연구 동기 및 목표

• 사전 기록된 동작 클립의 한계를 극복하고, 수기 수신 언어를 위한 실시간, 애벌리에이션에 독립적인 제스처 애니메이션을 생성할 수 있는 스크립팅 언어를 개발하는 것.
• 청각 장애인 사용자에게 읽기 쉬우면서도 자연스러운 애니메이션을 제공하면서도, 애벌리에이션의 비율과 관절 구성에 영향을 받지 않도록 보장하는 것.
• 원시 동작 데이터가 아닌 압축된 고수준 스크립트로 제스처를 표현함으로써 저장 및 전송 비용을 줄이는 것.
• 역기구학과 기하학적 제약 조건을 사용해 추상적인 제스처 기술을 자동으로 실시간으로 동작 데이터로 변환하는 것.
• 수기 수신 언어를 넘어서 실시간 상호작용 가상현실 및 몸을 가진 대화형 에이전트 등 더 넓은 분야에 응용할 수 있도록 하는 것.

제안 방법

• HamNoSys를 기반으로 한 개선된 제스처 표기법을 사용하며, 절대적인 손 자세가 아닌 의도 중심의 기하학적 특징(예: 가리키는 방향)에 중점을 둔다.
• 신체 부위의 위치와 자세에 대한 상대적 제약 조건을 정의함으로써, 다양한 크기의 애벌리에이션 간에도 일관된 애니메이션을 가능하게 한다.
• 시스템은 SiGML 스크립트를 역기구학을 통해 동작 데이터로 변환하며, 각 프레임마다 뼈의 회전과 얼굴 형태 변화를 실시간으로 프레임 단위로 계산한다.
• 표준 하드웨어에서 각 프레임의 동작 데이터 생성 시간이 1/15 밀리초 이내로 이루어져 실시간 성능을 확보한다.
• 애벌리에이션은 추상적인 제스처를 특정 뼈 구조에 매핑하기 위해 추가적인 표면 지점 데이터(예: 이름이 지정된 랜드마크)가 필요하다.
• 제스처 의미와 애벌리에이션 기하학을 분리함으로써, 동일한 스크립트가 다양한 애벌리에이션을 동일한 의미로 자연스럽게 제어할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 애벌리에이션 비율에 영향을 받지 않으면서도 제스처 의미를 유지할 수 있는 제스처 스크립팅 언어를 설계할 수 있는가?
• RQ2 어떻게 고수준 제스처 기술을 자동으로 어떤 인간형 애벌리에이션에도 현실적이고 실시간으로 동작 데이터로 변환할 수 있는가?
• RQ3 제스처의 의미적 중요성을 결정하는 기하학적 특징은 무엇이며, 이러한 특징을 표기 체계에 어떻게 포괄할 수 있는가?
• RQ4 운동 클립 대신 압축된 스크립트를 사용함으로써 제스처 애니메이션의 저장 및 전송 오버헤드를 크게 줄일 수 있는가?
• RQ5 역기구학과 상대적 제약 조건이 다양한 애벌리에이션 간에 자연스럽고 읽기 쉬운 움직임을 보장하는 데 얼마나 효과적인가?

주요 결과

• SiGML 시스템은 최소한의 계산 비용으로 실시간, 애벌리에이션에 독립적인 제스처 애니메이션을 성공적으로 생성하며, 프레임당 생성 시간이 1/15 밀리초 이내로 이루어진다.
• SiGML 스크립트에서 생성된 동작 데이터는 동등한 동작 클립에 비해 압도적으로 작아 저장 및 대역폭 요구량을 크게 줄였다.
• 청각 장애인 사용자들은 애니메이션의 읽기 쉬움과 현실감을 인정하여, 이 방법이 상호작용 애플리케이션에서 실용적으로 활용될 수 있음을 검증했다.
• 절대적인 기하학적 파rameter 대신 의도(예: 가리키는 방향)에 중점을 두어, 다양한 비율의 애벌리에이션 간에도 일관된 제스처 해석이 가능하다.
• 의도 중심의 제스처 표기법과 역기구학을 조합함으로써, 사전 계산된 동작 클립 없이도 자연스럽고 다이나믹한 애니메이션을 생성할 수 있음을 입증했다.
• 이 방법은 수기 수신 언어를 넘어서 실시간 상호작용 가상현실 및 몸을 가진 대화형 에이전트 등 더 넓은 분야로 확장 가능하다.