[논문 리뷰] Nutty-based Robot Animation -- Principles and Practices

Tiago Ribeiro, Ana Paiva|arXiv (Cornell University)|2019. 04. 05.

Social Robot Interaction and HRI참고 문헌 23인용 수 3

한 줄 요약

이 논문은 전통적인 캐릭터 애니메이션과 로봇공학을 연결하는 프레임워크인 Nutty 기반 로봇 애니메이션을 소개한다. 이 프레임워크는 12가지의 로봇 애니메이션 원칙, 프로그래머블 로봇 애니메이션 엔진, 그리고 Nutty 워크플로우를 포함한다. 이를 통해 애니메이터들은 시각적 블록 기반 프로그래밍 인터페이스를 통해 표현적이고 실시간으로 상호작용하는 로봇 동작을 설계할 수 있으며, 역운동역학과 사용자 추적과 같은 정형 애니메이션 레이어를 실세계 상호작용에서의 사회적 로봇과 원활하게 통합할 수 있다.

ABSTRACT

Robot animation is a new form of character animation that extends the traditional process by allowing the animated motion to become more interactive and adaptable during interaction with users in real-world settings. This paper reviews how this new type of character animation has evolved and been shaped from character animation principles and practices. We outline some new paradigms that aim at allowing character animators to become robot animators, and to properly take part in the development of social robots. One such paradigm consists of the 12 principles of robot animation, which describes general concepts that both animators and robot developers should consider in order to properly understand each other. We also introduce the concept of Kinematronics, for specifying the controllable and programmable expressive abilities of robots, and the Nutty Workflow and Pipeline. The Nutty Pipeline introduces the concept of the Programmable Robot Animation Engine, which allows to generate, compose and blend various types of animation sources into a final, interaction-enabled motion that can be rendered on robots in real-time during real-world interactions. The Nutty Motion Filter is described and exemplified as a technique that allows an open-loop motion controller to apply physical limits to the motion while still allowing to tweak the shape and expressivity of the resulting motion. Additionally, we describe some types of tools that can be developed and integrated into Nutty-based workflows and pipelines, which allow animation artists to perform an integral part of the expressive behaviour development within social robots, and thus to evolve from standard (3D) character animators, towards a full-stack type of robot animators.

연구 동기 및 목표

• 전통적인 캐릭터 애니메이터와 로봇 개발자 간 격차를 좁히기 위해 애니메이션 원칙을 로봇공학에 통합한다.
• 애니메이터들이 수동적인 역할을 넘어서, 상호작용적이고 표현적인 행동을 설계하는 데 적극적으로 참여할 수 있도록 한다.
• 실세계 인간-로봇 상호작용에서 실시간으로 표현적인 로봇 애니메이션을 지원하는 기술적이고 개념적인 프레임워크를 개발한다.
• 예술적 표현과 로봇 제약을 모두 이해하는 '로봇 애니메이터'라는 새로운 역할을 정립한다.
• 사용자 상호작용과 로봇 운동학에 기반한 애니메이션의 조합, 블렌딩, 런타임 적응을 가능하게 하는 도구와 워크플로우를 개발한다.

제안 방법

• 기존의 애니메이션 관행을 로봇 구현과 연결하기 위한 기초로 12가지의 로봇 애니메이션 원칙을 제안한다.
• 다양한 애니메이션 소스를 하나의 실시간 동작 출력으로 조합하고 통합하기 위한 시스템인 Nutty 워크플로우 및 파이프라인을 도입한다.
• 런타임 시 애니메이션 블렌딩과 적응을 가능하게 하는 핵심 구성 요소인 프로그래머블 로봇 애니메이션 엔진(PRAE)을 개발한다.
• 물리적 제약을 유지하면서도 표현성과 형태를 보존하는 방식으로 개방형 루프 동작 제어기를 적용하는 기법인 Nutty 모션 필터를 소개한다.
• 색상 코드화된 신호와 애니메이션 블록을 사용한 시각적, 블록 기반의 애니메이션 에디터(Nutty Tracks)를 설계하여 정형 동작 레이어의 직관적 프로그래밍을 가능하게 한다.
• 역운동역학과 사용자 추적 행동을 애니메이션 파이프라인에 통합하여 실시간 입력에 기반한 동작의 동적 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 실세계 환경에서 표현적이고 상호작용 가능한 로봇 동작을 가능하게 하기 위해 전통적인 캐릭터 애니메이션 원칙을 어떻게 적응시킬 수 있는가?
• RQ2 애니메이터들이 사전 기록된 동작을 넘어서, 보다 적극적으로 로봇 행동을 설계하고 프로그래밍할 수 있도록 하기 위해 어떤 기술적 및 워크플로우 혁신이 필요한가?
• RQ3 프로그래머블 애니메이션 엔진은 물리적 제약을 존중하면서도 여러 동작 소스(예: 정지 동작, 얼굴 추적, IK 등)를 실시간으로 블렌딩할 수 있도록 어떻게 지원할 수 있는가?
• RQ4 어떤 인터페이스 패러다임이 로봇 환경에서 복잡한 상호작용 애니메이션을 효과적으로 조합하고 편집할 수 있도록 도와주는가?
• RQ5 실시간 인간 상호작용에 반응하는 예술가 주도의 표현적 애니메이션을 통해 물리적 로봇에서 생명의 환영을 어떻게 구현할 수 있는가?

주요 결과

• 12가지의 로봇 애니메이션 원칙은 애니메이터와 로봇공학자 간에 공통의 개념어를 제공하여 상호 이해와 협업을 가능하게 한다.
• Nutty 파이프라인은 역운동역학과 사용자 추적과 같은 정형 레이어를 포함한 여러 애니메이션 소스를 하나의 일관된 동작 출력으로 조합함으로써 실시간으로 상호작용 가능한 로봇 애니메이션을 가능하게 한다.
• Nutty 모션 필터는 물리적 제약을 준수하면서도 표현적 동작 형태를 유지함으로써 안전하고 자연스러운 로봇 행동을 보장한다.
• 색상 코드화된 신호와 블록 기반 인터페이스를 갖춘 Nutty Tracks 시각적 에디터를 통해 애니메이터들은 로봇 운동학과 실시간 입력에 통합된 복잡한 다층 애니메이션을 작성하고 사전 미리보기할 수 있다.
• 이 프레임워크는 애니메이터들이 기존의 3D 캐릭터 애니메이션에서부터 전체 스택의 로봇 애니메이션으로 전환할 수 있도록 하여, 사회적 로봇의 표현적이고 상호작용적인 행동을 적극적으로 설계할 수 있도록 한다.
• 커스텀 스크립팅을 통해 유니티3D와 같은 게임 엔진에 애니메이션 도구를 통합함으로써 파이프라인의 사용성 확장과 사전 시각화 및 반복적 설계 지원이 가능해진다.