[論文レビュー] How Neurotypical and Autistic Children Interact Nonverbally with Anthropomorphic Agents in Open-Ended Tasks

Chuxuan Zhang, Bermet Burkanova+4 more|arXiv (Cornell University)|Mar 8, 2026

Social Robot Interaction and HRI被引用数 0

ひとこと要約

この研究は、神経発達の多様性を持つ子ども（ neurotypical および自閉スペクトラム症の子ども）と6体の人間の特徴を持つ仮想キャラクターとの自発的でオープンエンドの非言語的相互作用を分析し、子ども固有の行動の豊かな集合を示すと同時に、成人研究で報告されていない新しい行動を強調しつつ、両グループ間の類似点も浮き彫りにしている。

ABSTRACT

What nonverbal behaviors should a robot respond to? Understanding how children-both neurotypical and autistic-engage with embodied artificial agents is critical for developing inclusive and socially interactive systems. In this paper, we study "open-ended" unconstrained interactions with embodied agents, where little is known about how children behave nonverbally when given few instructions. We conducted a Wizard-of-Oz study in which children were invited to interact nonverbally with 6 different embodied virtual characters displayed on a television screen. We collected 563 (141 unique) nonverbal behaviors produced by children and compare the childre's interaction patterns with those previously reported in an adult study. We also report the presence of repetitive face and hand movements, which should be considered in the development of nonverbally interactive artificial agents.

研究の動機と目的

• 神経発達が多様な子どもと成人（比較用）との非言語的相互作用パターンの similarities と differences を識別する
• embodied agent のジェスチャー認識と活動認識に関連する子ども生成の非言語行動のカタログを作成する
• 多様な子どもの行動を解釈できる社会的に適応した embodied システムの包摂的設計に寄与する

提案手法

• 6体の embodied virtual characters（2人型、2動物、2物体）を用いた Wizard-of-Oz 手法で制約のない相互作用を実現
• 参加者：7–12歳の子ども14名（神経発達多様性：10名 neurotypical、4名 autistic）; 手指ジェスチャーを描くのではなくジェスチャーを行った1名を除外して最終データは13名分
• ビデオ記録と2名の評価者、追加で判断が難しい場合の3名目の評価者によるデータ収集、指示付き動作と自発動作の区別の追加注釈
• Animazeによるキャラクターアニメーション、Webcam Motion Capture による上半身追跡、Zoom によるリアルタイム遠隔操作のソフトウェアスタック
• 成人研究との比較可能性を保つために年齢に合わせた指示・プロンプトへ適応
• 分析は成人研究（zhan2024react）を踏襲し、非言語行動を身体的・情動的・社会的カテゴリにテーマ別コード化

Figure 1. Left: Physical setup of the study room. Right: 6 virtual characters used in the study.

実験結果

リサーチクエスチョン

• RQ1 自閉スペクトラム症の子どもと神経発達多様な子どもは、オープンエンドな課題で仮想エージェントとどのように遊ぶ・相互作用するのか？
• RQ2 embodied agent と関わる際に子どもが生成する非言語的行動は何か、成人データとどのように比較されるか？
• RQ3 成人データセットには欠落している子ども特有の非言語行動があり、それが HRI/HCI 設計で考慮されるべきか？
• RQ4 6種類の異なるエージェント embodiment と関わる際に、発達的・神経多様性による相互作用の頻度や型に違いが現れるか？

主な発見

• 子どもは合計563件の相互作用を生んだ（参加者起点537、エージェント起点26）、89の身体的、18の情動的、34の社会的行動に分布
• 成人と比較すると、子どもは非言語行動の全体的な多様性は小さいが、成人研究には見られない子ども固有の行動（例：舌を出す、敗者サイン、想像的な遊び）を示した
• この小規模サンプル内では神経発達多様性グループ間でジェスチャー数に有意差なし
• キャラクター間での行動頻度に有意差があり、特にペンギン条件で社会的・情動的行動がボンフェローニ補正後に高まった
• 1名の参加者（P7）は顔・体のジェスチャーではなく、描画と環境操作を用いており、事前定義済みジェスチャーを超えた多モーダル・文脈依存の相互作用戦略を示した
• 4名の参加者（1名 neurotypical、3名 autistic）に反復行動が見られ、モーターモアニズムや潜在的なコミュニケーション試験を含む、エージェント応答におけるコミュニケーション行動と反復行動の区別の必要性を示唆
• 総じて、子どもInclusive なインタラクティブシステム設計に関連する141の異なる非言語行動を特定

Figure 2. Interaction behavior counts categorized the type of interaction.