[논문 리뷰] SketchDynamics: Exploring Free-Form Sketches for Dynamic Intent Expression in Animation Generation

Boyu Li, Lin-Ping Yuan외 2명|arXiv (Cornell University)|2026. 01. 28.

Human Motion and Animation인용 수 0

한 줄 요약

SketchDynamics는 AI 주도 애니메이션을 위한 동적 의도 프롬프트로서 자유 형식의 스케치 스토리보드를 도입하고, 적응형 명확화 인터페이스와 반복적 편집을 갖추며, 3단계 사용자 연구를 통해 검증된다.

ABSTRACT

Sketching provides an intuitive way to convey dynamic intent in animation authoring (i.e., how elements change over time and space), making it a natural medium for automatic content creation. Yet existing approaches often constrain sketches to fixed command tokens or predefined visual forms, overlooking their freeform nature and the central role of humans in shaping intention. To address this, we introduce an interaction paradigm where users convey dynamic intent to a vision-language model via free-form sketching, instantiated here in a sketch storyboard to motion graphics workflow. We implement an interface and improve it through a three-stage study with 24 participants. The study shows how sketches convey motion with minimal input, how their inherent ambiguity requires users to be involved for clarification, and how sketches can visually guide video refinement. Our findings reveal the potential of sketch and AI interaction to bridge the gap between intention and outcome, and demonstrate its applicability to 3D animation and video generation.

연구 동기 및 목표

• 고정된 명령을 넘어 자유 형식의 스케치가 애니메이션을 위한 동적 의도를 어떻게 전달할 수 있는지 조사한다.
• 비전–언어 모델을 통해 스케치를 해석하고 스토리보드에서 벡터 애니메이션을 렌더링하도록 SketchDynamics를 개발한다.
• 해석 가능성, 애매성 처리 및 정제를 평가하기 위해 3단계 사용자 연구를 통해 워크플로를 평가한다.
• 설명자 스타일의 모션 그래픽에의 적용 가능성과 3D 애니메이션 및 영상 생성으로의 확장 가능성을 입증한다.]
• method2:[
• Implement a unified web interface with sketch input, storyboard sequencing, and a video rendering view.
• Use prompts that pair sketch descriptions with executable code to guide generation.
• Render output using executable Manim (Python) code to produce scalable vector animations.
• Introduce an adaptive clarification cue that categorizes sketch ambiguity into four levels and enables user intervention.
• In Stage 3, develop a frame-based interactive refinement approach combining keyframe extraction and annotation for precise control.
• Conduct a three-stage study with 24 total attempts to assess expressiveness, interpretation, and refinement.

제안 방법

• 스케치 입력, 스토리보드 시퀀싱, 비디오 렌더링 뷰를 포함하는 통합 웹 인터페이스를 구현한다.
• 생성 지시를 돕기 위해 스케치 설명과 실행 가능한 코드를 쌍으로 하는 프롬프트를 사용한다.
• 확장 가능한 벡터 애니메이션을 생성하기 위해 실행 가능한 Manim(Python) 코드를 사용하여 출력을 렌더링한다.
• 스케치의 애매성을 네 가지 수준으로 분류하고 사용자의 개입을 가능하게 하는 적응형 명확화 신호를 도입한다.
• 3단계에서 핵심 프레임 추출과 주석화를 결합한 프레임 기반의 대화식 정제 접근법을 개발하여 정밀한 제어를 제공한다.
• 표현력, 해석, 정제를 평가하기 위해 총 24회의 시도로 3단계 연구를 수행한다.

실험 결과

연구 질문

• RQ1 자유 형식의 스케치가 비전–언어 모델에 얼마나 효과적으로 동적 애니메이션 의도를 전달할 수 있는가?
• RQ2 자유 형식의 스케치를 해석할 때 어떤 종류의 애매함이 발생하며, 명확화 개입이 어떻게 도움될 수 있는가?
• RQ3 적응형 명확화 가이드가 사용자 의도와 생성된 애니메이션 간의 정렬을 개선하는가?
• RQ4 사용자가 캔버스 내 편집이나 프레임 기반 편집을 통해 의도와 결과 간의 차이를 의미 있게 줄일 수 있는가?

주요 결과

• 자유 형식의 스케치는 최소한의 입력으로 애니메이션 의도를 표현할 수 있지만, 애매함으로 인해 해석이 종종 불충분하게 나타난다.
• 명확화 단서는 적응형 프롬프트를 통해 해석 과정에 사용자가 참여하도록 돕고 오해를 줄인다.
• 일부 의도는 여전히 불충분하게 정의되어 있어 출력 확인 및 정제가 필요하다.
• 프레임 기반 정제를 포함한 반복적 시각 편집 접근법은 원하는 결과를 향한 효율적이고 낮은 노력을 요구하는 사용자 안내를 가능하게 한다.
• 연구는 의도와 결과를 잇는 스케치–AI 상호작용의 잠재력을 보여주며 3D 애니메이션 및 영상 생성에의 적용 가능성을 시사한다.
• 24회의 시도 중 5개의 출력이 실패로 판단되어 스케치 기반 의도 표현의 현재 한계를 강조한다.