[論文レビュー] The state of play of ASC-Inclusion: An Integrated Internet-Based Environment for Social Inclusion of Children with Autism Spectrum Conditions

Björn W. Schuller, Erik Marchi+5 more|arXiv (Cornell University)|Mar 24, 2014

Autism Spectrum Disorder Research参考文献 46被引用数 24

ひとこと要約

本論文では、顔の表情、声のトーン、身体の動きの統合的分析を通じて、自閉症スペクトラム症候群（ASC）を呈する乳幼児の社会的包摂を高めるために、感情認識と表現のトレーニングを行う、インターネットベースのシリアスゲームプラットフォーム「ASC-Inclusion」を提示する。本システムは、検証済みの刺激とマルチモーダルフィードバックを仮想環境で活用しており、初期評価では、5〜10歳の子どもに特化したインタラクティブでカスタマイズ可能なゲームプレイを通じて、社会的・感情的スキルの向上に期待が持てる。

ABSTRACT

Individuals with Autism Spectrum Conditions (ASC) have marked difficulties using verbal and non-verbal communication for social interaction. The running ASC-Inclusion project aims to help children with ASC by allowing them to learn how emotions can be expressed and recognised via playing games in a virtual world. The platform includes analysis of users' gestures, facial, and vocal expressions using standard microphone and web-cam or a depth sensor, training through games, text communication with peers, animation, video and audio clips. We present the state of play in realising such a serious game platform and provide results for the different modalities.

研究の動機と目的

• 自閉症スペクトラム症候群（ASC）を呈する乳幼児が直面する社会的コミュニケーションの課題、特に感情の認識と表現に関する課題に対処すること。
• 顔、声、ジェスチャーのマルチモーダルな感情分析を統合し、対話型ゲームを用いた社会的スキルトレーニングを実現する、統合的でインターネットベースのプラットフォームの開発。
• 科学的に検証された、ユーザー中心の環境を提供し、家庭でも利用可能な、早期介入と長期的なスキル発達を支援するもの。
• 検証済みの感情刺激とユーザーのフィードバックを用いた構造的でランダム化比較臨床試験を通じて、プラットフォームの有効性を評価すること。
• 予測可能で安全かつ繰り返し可能な、動機付けられるデジタル環境での社会的・感情的コミュニケーションの練習を可能にすることで、社会的包摂を促進すること。

提案手法

• 本プラットフォームは、3つのコアなサブシステムを統合している：感情の次元モデル（覚醒度と価値）を用いた顔認識モジュール、声のトーンを処理する音声分析モジュール、動きのパターンを検出する身体ジェスチャー分析モジュール。
• 感情認識のトレーニングには、496の検証済みの顔の表情、82の身体ジェスチャー、95の社会的状況の映像を用い、すべての刺激は専門の俳優が演技し、1つの刺激あたり60名の通常発達する大人による評価を受けた。
• 音声分析は、英語、ヘブライ語、スウェーデン語で録音された20名の子ども（ASCを有する10名、神経的ニュートラルな10名）による感情表現フレーズを、文脈のある物語に埋め込むことで、本物らしさのある感情表現を誘発するように開発された。
• システムは、サブシステム間でのメッセージ伝達にActiveMQを採用し、マルチモーダルデータをゲームエンジンにリアルタイムで統合できるようにしている。
• コンテンツ作成には、親や大人からの感情アンケートを実施し、20の主要な感情（例：幸せ、怒り、悲しみ、誇り）を特定した。このうち、認識正答率が50％以上（確率的補正済み）のもののみが最終コンテンツに含まれた。
• テキストチャット、アニメーションアバター、動画／音声再生をサポートすることで、現実の社会的相互作用を模擬し、感情認識と表現を強化するためのレッスンとゲームを設計した。

実験結果

リサーチクエスチョン

• RQ1 統合的でインターネットベースのプラットフォームは、顔、声、ジェスチャーのモダリティを用いて、ASCを呈する乳幼児の感情認識と表現のトレーニングを効果的に行えるか？
• RQ2 マルチモーダルな刺激を用いたトレーニングと、単一モーダルまたは静的画像ベースの方法とを比較した場合、ASCを呈する乳幼児の感情認識タスクにおけるパフォーマンスはどのように異なるか？
• RQ3 本プラットフォームのインタラクティブでゲームベースのアプローチは、社会的・感情的スキルの向上および現実世界の社会的相互作用への一般化にどの程度寄与するか？
• RQ4 英語、ヘブライ語、スウェーデン語の文化的に多様な声の録音は、ASCを呈する乳幼児における感情認識の正確性にどのような影響を与えるか？
• RQ5 リアルタイムでのマルチモーダルフィードバックの統合は、従来の教育ツールと比較して、ASCを呈する乳幼児の学習成果にどのように寄与するか？

主な発見

• 本プラットフォームは、標準化された通信プロトコルとActiveMQメッセージングを用いて、顔、声、ジェスチャー分析の3つのサブシステムを統合し、一元的なゲーム環境に統合した。
• 社会的相互作用に不可欠な20の感情のうち、確率的補正済み認識正答率が50％を超えるもののみが最終コンテンツに含まれ、刺激の高い妥当性を確保した。
• 顔の表情496例、身体ジェスチャー82例、社会的状況95例のすべてが、1つの刺激あたり60名の評価者による50％以上の合意を得ており、コンテンツの信頼性が確認された。
• 音声分析モジュールはスパイラル開発プロセスを経て改善され、フォーカスグループでの評価を経て、現在は新たな音声表現評価システムが導入済みである。
• ジェスチャー分析モジュールは、より優れた特徴抽出と感情認識モジュールの強化により、リアルタイムでのプラットフォーム統合が可能になった。
• マルチモーダルフィードバックを活用したインタラクティブなトレーニングレッスンと感情表現ゲームが開発され、5〜10歳のASCを呈する乳幼児における関与とスキル習得を支援した。