[論文レビュー] DrawTalking: Building Interactive Worlds by Sketching and Speaking

Karl Rosenberg, Rubaiat Habib Kazi+3 more|arXiv (Cornell University)|Jan 11, 2024

Art, Technology, and Culture被引用数 5

ひとこと要約

DrawTalking は、ユーザーがスケッチと発話でインタラクティブな世界を構築・操作できる、コーディング不要のマルチモーダルなプロトタイプを提供します。

ABSTRACT

We introduce DrawTalking, an approach to building and controlling interactive worlds by sketching and speaking while telling stories. It emphasizes user control and flexibility, and gives programming-like capability without requiring code. An early open-ended study with our prototype shows that the mechanics resonate and are applicable to many creative-exploratory use cases, with the potential to inspire and inform research in future natural interfaces for creative exploration and authoring.

研究の動機と目的

• ユーザーがスケッチと発話を用いて内容と挙動を定義できるようにし、オープンエンドな創造的探究を促進する。
• 発話を介したスケッチの意味的ラベリングを提供し、オブジェクトとそのプロパティを制御する。
• ユーザーの主体性と自動化されたシステム支援のバランスを取り、迅速なプロトタイピングと反復を支援する。
• 発話入力とシステムの理解を視覚化する透明なインターフェースを提供し、エラー修正を支援する。
• 教育、迅速なプロトタイピング、アイデア創出のワークフローへの適用可能性を示す。

提案手法

• 音声とタッチによって手書きスケッチを名詞・形容詞・副詞でラベル付けするマルチタッチiPadアプリを開発する。
• 指示詞(ディーシス)とテキストラベリングを用いて、スケッチを制御と挙動の意味役割と結びつける。
• 動詞、接続詞、前置詞といったプリミティブを用いた言語コマンドシステムを実装して、アニメーションとイベントを駆動する。
• コマンドの理解を視覚化・編集するための意味論図とトランスクリプト表示を提供する。
• 直接操作とスクリプト化されたルールを通じたランタイム編集と即時のプレイテストを可能にする。
• デバイス上での音声認識とローカルNLP処理パイプラインを実装し、言語を行動へマッピングする。

実験結果

リサーチクエスチョン

• RQ1 スケッチ＋発話インターフェースは、インタラクティブなシーンの構築にとってどれだけ理解しやすく、使いやすいか。
• RQ2 参加者はオープンエンドな創造的探究のためにどのようなユースケースやワークフローを特定するか。
• RQ3 ユーザーはスケッチをどうラベル付け・指示しますか、そして意味論図はエラー復旧にどれだけ有効か。
• RQ4 ユーザーはコードを書かずにループ、ルール、 spawning のようなプログラミング風タスクを実行できるか。
• RQ5 教育、迅速なプロトタイピング、創造的なパイプラインにおける DrawTalking の潜在能力に対する参加者の認識は。

主な発見

• 参加者は仕組みを理解し学習し、思慮深いアイデア創出に取り組んだ。
• 指示詞によるラベリング（音声駆動のラベリング）は、スケッチを言葉に結びつけるより直感的で好まれた。
• 意味論図は、ユーザーがコマンドの解釈を検査・修正するのに役立った。
• ユーザーは物理性の感覚を報告し、DrawTalking を『言語とレゴのように直感的で身近なもの』と表現した。
• 参加者は他のツールとの統合とゲームや教育における迅速なプロトタイピングの可能性を見出した。
• 一部のユーザーは DrawTalking を、非プログラマーにも使いやすさを保ちながら、プログラミング環境への比較的な踏み石と見なした。