[論文レビュー] Improved Digital Therapy for Developmental Pediatrics Using Domain-Specific Artificial Intelligence: Machine Learning Study

Peter Washington, Haik Kalantarian+17 more|arXiv (Cornell University)|Dec 16, 2020

Autism Spectrum Disorder Research参考文献 32被引用数 14

ひとこと要約

本研究では、ゲーム化されたシステムを活用して21,550本の子供の感情映像を収集・ラベリングし、大規模な小児用顔面表情データセットを構築することで、発達行動発達科におけるデジタル療法の向上を図る分野特化型AIアプローチを提案する。独自に開発した畳み込みニューラルネットワーク（CNN）は、CAFEデータセットの中でも高一致度のサブセットで79.1％のバランス精度を達成し、先行モデルより10％高い性能を示しており、臨床応用を想定した子供向け感情認識分野における顕著な進展を示している。

ABSTRACT

Background: Automated emotion classification could aid those who struggle to recognize emotions, including children with developmental behavioral conditions such as autism. However, most computer vision emotion recognition models are trained on adult emotion and therefore underperform when applied to child faces. Objective: We designed a strategy to gamify the collection and labeling of child emotion-enriched images to boost the performance of automatic child emotion recognition models to a level closer to what will be needed for digital health care approaches. Methods: We leveraged our prototype therapeutic smartphone game, GuessWhat, which was designed in large part for children with developmental and behavioral conditions, to gamify the secure collection of video data of children expressing a variety of emotions prompted by the game. Independently, we created a secure web interface to gamify the human labeling effort, called HollywoodSquares, tailored for use by any qualified labeler. We gathered and labeled 2155 videos, 39,968 emotion frames, and 106,001 labels on all images. With this drastically expanded pediatric emotion-centric database (>30 times larger than existing public pediatric emotion data sets), we trained a convolutional neural network (CNN) computer vision classifier of happy, sad, surprised, fearful, angry, disgust, and neutral expressions evoked by children. Results: The classifier achieved a 66.9% balanced accuracy and 67.4% F1-score on the entirety of the Child Affective Facial Expression (CAFE) as well as a 79.1% balanced accuracy and 78% F1-score on CAFE Subset A, a subset containing at least 60% human agreement on emotions labels. This performance is at least 10% higher than all previously developed classifiers evaluated against CAFE, the best of which reached a 56% balanced accuracy even when combining "anger" and "disgust" into a single class.

研究の動機と目的

• 自閉症など発達障害を有する子供の顔に対して一般用途の感情認識モデルが著しく性能を発揮しない問題に対処する。
• 子供の顔面表情のラベル付きデータセットが不足している課題を克服するため、安全でスケーラブルな方法で子供の顔面表情を収集・ラベリングする仕組みを構築する。
• 子供の感情表現に特化したドメイン特化型AIモデルを開発し、発達行動発達科分野におけるデジタル療法ツールの性能を向上させる。
• 子供中心のデータ収集およびラベリングパイプラインを新規に構築することで、子供における自動感情認識の精度と信頼性を向上させる。

提案手法

• 子供が自然で魅力的な状況で感情を表現する映像データを収集するために、スマートフォンゲーム「GuessWhat」が使用された。
• 子供の映像から顔面表情を正確にラベリングする人間のラベラーを参加・維持するため、Webベースのゲーム化プラットフォーム「HollywoodSquares」が開発された。
• 合計21,550本の動画、39,968フレームの感情画像、106,001件の個別ラベルを収集・整備し、新しい小児用感情表情データセットが構築された。
• 7つの感情カテゴリ（喜び、悲しみ、驚き、恐れ、怒り、嫌悪、ニュートラル）を分類する目的で、この拡張されたデータセット上で畳み込みニューラルネットワーク（CNN）を訓練した。
• 信頼性を確保するため、子供の感情顔面表情（CAFE）データセットおよびその高一致度サブセット（CAFEサブセットA）上でモデルを評価した。
• データ収集およびラベリングの両方において、暗号化されたデータ伝送およびアクセス制御を通じて、データプライバシーとセキュリティを最優先にした。

実験結果

リサーチクエスチョン

• RQ1 従来の方法と比較して、ゲーム化されたデータ収集が、小児の顔面表情データセットの規模と質を顕著に向上させられるか。
• RQ2 子供中心のデータに特化したCNNを訓練することで、一般用途モデルに比べて感情認識の精度がどの程度向上するか。
• RQ3 CAFEデータセットの異なるサブセット、特に人間ラベラー間の一致度が高いサブセットにおいて、モデルの性能はどのように変動するか。
• RQ4 現実のデジタル療法の現場環境において、安全でスケーラブルな子供の感情データ収集・ラベリングパイプラインを効果的に実装できるか。
• RQ5 大規模かつ整理された小児用データセットで訓練された場合、自動子供感情認識の性能上限はどの程度か。

主な発見

• 提案されたCNNは、全CAFEデータセットにおいて66.9％のバランス精度と67.4％のF1スコアを達成し、先行モデルを著しく上回った。
• 人間ラベラー間の一致度が60％以上あるCafeサブセットAでは、バランス精度が79.1％、F1スコアが78％に達し、最も優れた先行手法よりも10％の向上を記録した。
• 性能向上の要因は、既存の公開小児感情データセットと比較して30倍以上も大きなデータセットでモデルを訓練したことに起因する。
• 高一致度サブセット（79.1％）におけるモデルの精度は、『怒り』と『嫌悪』を1つのクラスに統合した場合でも、先行研究で報告された最高の56％のバランス精度を上回っている。
• ゲーム化されたデータ収集およびラベリングパイプラインは、21,550本の動画と10万件を超えるラベルを効果的に収集し、実世界の小児科環境におけるスケーラビリティと信頼性を実証した。
• 本研究は、子供の感情認識分野で臨床的に意味のある性能を達成するには、ドメイン特化型のデータとモデルが不可欠であることを確認した。