[論文レビュー] A Facial Affect Analysis System for Autism Spectrum Disorder

Beibin Li, Sachin Mehta+5 more|arXiv (Cornell University)|Apr 7, 2019

Autism Spectrum Disorder Research参考文献 24被引用数 7

ひとこと要約

本論文では、自然画像で訓練されたマルチタスク畳み込みニューラルネットワーク（CNN）を用いて、顔の特徴（表情、アクションユニット（AUs）、覚醒度、価値）を抽出することで、自閉症スペクトラム障害（ASD）を分類するエンドツーエンドの機械学習システムを提示する。全顔特徴を組み合わせた際、76%のF1スコアを達成し、7%の性能向上を示しており、ASD検出における統計的有意性と臨床的関連性を裏付けている。

ABSTRACT

In this paper, we introduce an end-to-end machine learning-based system for classifying autism spectrum disorder (ASD) using facial attributes such as expressions, action units, arousal, and valence. Our system classifies ASD using representations of different facial attributes from convolutional neural networks, which are trained on images in the wild. Our experimental results show that different facial attributes used in our system are statistically significant and improve sensitivity, specificity, and F1 score of ASD classification by a large margin. In particular, the addition of different facial attributes improves the performance of ASD classification by about 7% which achieves a F1 score of 76%.

研究の動機と目的

• 実世界の動画データから得られる顔特徴を用いたASD分類のエンドツーエンド機械学習システムの開発。
• 表情、AUs、覚醒度、価値といった異なる顔特徴がASD分類性能に与える寄与度の調査。
• ASD検出の文脈において、マルチタスク学習とシングルタスク学習の顔特徴認識における有効性の評価。
• 顔特徴がASD分類の感度、特異度、F1スコアの向上に統計的に有意なマーカーであることを示すこと。
• 大規模なASD特化顔データセットが存在しない状況において、大規模自然画像データセットから学習された表現を用いたASD検出のフレームワークの確立。

提案手法

• マルチタスクCNNは、AffectNetとEmotioNetの2つの大規模自然画像データセットを用いて訓練され、顔の4つの特徴（表情、アクションユニット（AUs）、覚醒度、価値）を同時に予測する。
• ネットワークは標準的なCNNアーキテクチャ（畳み込み層およびプーリング層）を採用し、タスク固有の損失とL2正則化を組み合わせたマルチタスク損失関数により最適化される。
• 各動画フレームについて、4つの特徴からの特徴ベクトルがk次元ベクトルに連結され、AUsと表情は確率スコアで表現され、覚醒度と価値は[-1, 1]のスカラー値として表現される。
• 時間的特徴抽出は、統計的指標（平均、標準偏差、活性化時間、正の割合）を用いてフレーム間で実施され、9,575フレームのシーケンスが1人あたり58次元の特徴ベクトルに低次元化される。
• 限られたデータのため、LOOCV（1人を除いた交差検証）を用いて、58次元の特徴に対してバイナリ分類器（ロジスティック回帰、LASSO、LDA、QDA、SVM、XGBoost、2層のニューラルネットワーク）を訓練する。
• 各顔特徴の統計的有意性は、異なる特徴組み合わせにおける分類性能をStudentのt検定で評価する。

実験結果

リサーチクエスチョン

• RQ1 表情、AUs、覚醒度、価値といった複数の顔特徴を組み合わせることで、部分的な特徴の使用に比べ、ASD分類性能が向上するか？
• RQ2 異なる顔特徴が分類性能に個別に与える寄与度は何か？ また、どの特徴が統計的に有意であるか？
• RQ3 ASD検出の文脈において、マルチタスク学習はシングルタスク学習よりも有効であるか？
• RQ4 大規模なASDラベル付き顔データセットが存在しないにもかかわらず、自然画像から学習した表現がASD分類にうまく一般化できるか？
• RQ5 F1スコア、感度、特異度を最大化する顔特徴の最適な組み合わせは何か？

主な発見

• 表情、AUs、覚醒度、価値という4つの顔特徴をすべて組み合わせた場合、部分的な特徴の使用に比べ7%のF1スコア向上を達成し、最終的なF1スコアは76%に到達した。
• ボトルネック層をベース特徴抽出器として使用した場合、分類性能が最も高く、感度76%、特異度69%を達成した。
• 統計的分析（Studentのt検定）により、覚醒度（p = 0.007）、価値（p = 0.001）、表情（p = 0.006）が分類性能の向上に最も有意な寄与をしていることが確認された。
• 顔特徴認識において、マルチタスク学習はシングルタスク学習を上回り、複数の特徴を同時に学習することで特徴表現の質が向上することを示している。
• 平均、標準偏差、活性化時間、正の割合を用いた時間的特徴抽出法は、動的顔パターンを効果的に捉えており、この小さなデータセットではRNNや時間的CNNを凌駆している。
• 深層学習で自然画像から得た顔特徴が、ASD分類のための強固で統計的に有意なマーカーとして機能することを示しており、ASDラベル付きデータで直接訓練されていなくても有効である。