[논문 리뷰] DrawTalking: Building Interactive Worlds by Sketching and Speaking

Karl Rosenberg, Rubaiat Habib Kazi외 3명|arXiv (Cornell University)|2024. 01. 11.

Art, Technology, and Culture인용 수 5

한 줄 요약

DrawTalking은 사용자가 코딩 없이 그림을 그리고 말하기로 인터랙티브한 세계를 구축하고 제어할 수 있게 하는 멀티모달 프로토타입을 제공합니다.

ABSTRACT

We introduce DrawTalking, an approach to building and controlling interactive worlds by sketching and speaking while telling stories. It emphasizes user control and flexibility, and gives programming-like capability without requiring code. An early open-ended study with our prototype shows that the mechanics resonate and are applicable to many creative-exploratory use cases, with the potential to inspire and inform research in future natural interfaces for creative exploration and authoring.

연구 동기 및 목표

• 내용과 동작을 정의하도록 사용자가 스케치를 말로 정의하게 하여 열린 창의적 탐색을 가능하게 한다.
• 스케치의 의미 레이블링을 말로 제공하여 객체와 그 속성을 제어한다.
• 빠른 프로토타이핑과 반복을 지원하기 위해 사용자 주도성과 자동 시스템 도움의 균형을 맞춘다.
• 오류 수정 지원을 위해 말 입력과 시스템 이해를 시각화하는 투명한 인터페이스를 제공한다.
• 교육, 빠른 프로토타이핑, 아이데에이션 워크플로우에의 적용 가능성을 보여준다.

제안 방법

• 자유손으로 그린 스케치를 명사, 형용사, 부사로 말과 터치로 레이블링하는 멀티터치 iPad 앱을 개발한다.
• 지시사( deixis)와 텍스트 레이블링을 사용해 스케치를 제어 및 동작의 의미 역할과 연결한다.
• 프리미티브(verbs, conjunctions, prepositions)을 이용해 애니메이션과 이벤트를 구동하는 언어 명령 시스템을 구현한다.
• 시맨틱 다이어그램과 전사 보기로 시스템의 명령 이해를 시각화하고 편집한다.
• 직접 조작과 스크립트 규칙을 통해 런타임 편집과 즉시 플레이테스트를 가능하게 한다.
• 기기 내 음성 인식과 로컬 NLP 처리 파이프라인을 구현해 언어를 행동으로 매핑한다.

실험 결과

연구 질문

• RQ1 스케치+음성 인터페이스가 인터랙티브한 장면을 구축하는 데 얼마나 이해하기 쉽고 사용하기 좋은가?
• RQ2 개방형 창의적 탐색에 대해 참가자들이 식별한 사용 사례와 워크플로는 어떤가?
• RQ3 사용자들은 스케치를 어떻게 레이블링하고 명령하는가, 시맨틱 다이어그램이 오류 복구에 얼마나 효과적인가?
• RQ4 사용자는 코드를 작성하지 않고 루프, 규칙, 생성 같은 프로그래밍 유사 작업을 수행할 수 있는가?
• RQ5 참가자들은 교육, 빠른 프로토타이핑, 창의적 파이프라인에서 DrawTalking의 잠재력에 대해 어떻게 인식하는가?

주요 결과

• 참가자들은 기계적 동작을 이해하고 배우며, 심도 있는 아이디어 창출에 참여했다.
• 지시사(음성 유도 레이블링)를 통한 레이블링이 스케치를 단어에 연결하는 것보다 직관적이라는 점에서 선호됐다.
• 시맨틱 다이어그램이 사용자가 시스템의 명령 해석을 검사하고 수정하는 데 도움을 주었다.
• 사용자들은 물리적 느낌을 보고 DrawTalking을 접근하기 쉬운 것으로 묘사했고, '언어와 레고'에 비유했다.
• 참가자들은 게임과 교육에서의 빠른 프로토타이핑 및 다른 도구와의 통합 가능성을 보았다.
• 일부 사용자는 DrawTalking을 프로그래밍 환경으로 가는 비교적 stepping-stone으로 보면서도 비전문가도 접근할 수 있다고 보았다.