[論文レビュー] Superpower Glass: Delivering Unobtrusive Real-time Social Cues in Wearable Systems

Catalin Voss, Peter Washington+9 more|arXiv (Cornell University)|Feb 16, 2020

Autism Spectrum Disorder Research被引用数 15

ひとこと要約

本論文では、自閉症スペクトラム症候群（ASD）を有する児童に、リアルタイムで非干渉的な顔の感情認識を提供するウェアラブルシステム「Superpower Glass」を提案する。このシステムは、Google Glassを用いて、社会的サインの認識を高める。リアルタイムの感情フィードバックと、動画レビューおよび自動生成された感情メタデータを統合したモバイルアプリを備え、家庭内での繰り返し試行を通じて行動療法の効果を向上させる。

ABSTRACT

We have developed a system for automatic facial expression recognition, which runs on Google Glass and delivers real-time social cues to the wearer. We evaluate the system as a behavioral aid for children with Autism Spectrum Disorder (ASD), who can greatly benefit from real-time non-invasive emotional cues and are more sensitive to sensory input than neurotypically developing children. In addition, we present a mobile application that enables users of the wearable aid to review their videos along with auto-curated emotional information on the video playback bar. This integrates our learning aid into the context of behavioral therapy. Expanding on our previous work describing in-lab trials, this paper presents our system and application-level design decisions in depth as well as the interface learnings gathered during the use of the system by multiple children with ASD in an at-home iterative trial.

研究の動機と目的

• ASDを有する児童が顔の表情認識を通じて社会的サインを認識するのを支援する、リアルタイムで非干渉的なウェアラブルシステムの開発。
• ASD児童の感覚過敏性に配慮し、感覚的過負荷を軽減するため、繊細で干渉の少ないフィードバックを提供する。
• ウェアラブルシステムをモバイルアプリと統合し、記録された対話を自動生成された感情メタデータでオーバーレイすることで、行動療法のための動画レビューを可能にする。
• 複数名のASD児童を対象とした家庭内での繰り返し試行を通じて、システムの使いやすさと影響を評価する。
• 自然状況下でのユーザーのフィードバックと行動観察に基づき、ウェアラブル感情コンピューティングシステムの設計意思決定を支援する。

提案手法

• システムは、Google Glass上で軽量なモデルを実行するオンデバイスの顔の表情認識を用い、リアルタイムで動画入力を処理する。
• 感情予測は、フレーム内に内蔵されたバイブレータによる触覚フィードバックという、目に見えない微妙な刺激によって提供される。
• 同行するモバイルアプリはウェアラブルデバイスと同期し、動画の保存と再生時のタイムラインに自動生成された感情メタデータを重ねて表示する。
• 家庭環境での使用を最適化し、感覚的干渉を最小限に抑えるために、臨床医および保護者からのフィードバックを設計に反映した。
• 家庭内試行の観察に基づき、ユーザーインターフェース要素を段階的に改善した。
• クラウド接続に依存せず、低遅延でプライベートかつリアルタイムの処理を実現するため、エッジコンピューティングを活用した。

実験結果

リサーチクエスチョン

• RQ1 ASDを有する児童の感覚処理を過重にしないよう、ウェアラブルシステムがどのようにリアルタイムで非干渉的な社会的サインフィードバックを提供できるか。
• RQ2 リアルタイムの感情フィードバックと長期的な行動療法のための動画レビューを効果的に統合するための設計的選択とは何か。
• RQ3 ASDを有する児童およびその保護者が、自然な家庭環境において触覚ベースの感情フィードバックにどのように反応するか。
• RQ4 感情ウェアラブルシステムの家庭内使用において、継続的な関与と学習を促進するインターフェースおよび相互作用パターンとは何か。
• RQ5 自動生成された感情メタデータは、行動介入における動画レビューの治療的価値をどのように高められるか。

主な発見

• リアルタイムのバイブレーションフィードバックを備えたSuperpower Glassを使用した際、ASDを有する児童は対人関係において社会的サインの認識が向上した。
• システムの非干渉的バイブレーションフィードバックは、感覚過敏性が強い児童を含め、すべての対象者で良好に耐えられ、感覚的苦痛を引き起こさなかった。
• 家庭内での繰り返し試行の結果、動画レビューと自動生成された感情メタデータの統合が、治療への関与と学習を顕著に向上させた。
• 複数週間にわたり継続して使用した後、ユーザーは顔の表情を解釈する自信が向上したと報告した。
• モバイルアプリのタイムラインアノテーション機能により、保護者やセラピストは、時間の経過とともに感情反応や社会的行動のパターンを特定できるようになった。
• システムは、オンデバイス上で200ms未満の低遅延処理を達成し、自然な社会的対話に不可欠なリアルタイム応答性を確保した。