[論文レビュー] 3DPalsyNet: A Facial Palsy Grading and Motion Recognition Framework using Fully 3D Convolutional Neural Networks

Gary Storey, Richard Jiang+3 more|arXiv (Cornell University)|May 31, 2019

Facial Nerve Paralysis Treatment and Research参考文献 27被引用数 4

ひとこと要約

3DPalsyNet は、Kinetics からの転移学習を活用し、センター損失とソフトマックス損失を組み合わせた 3D 畳み込みニューラルネットワークフレームワークであり、動画シーケンスからの顔面麻痺の重症度評価と口の動き認識をエンドツーエンドで実行できる。8 フレームの期間で、動き認識では 86%、重症度評価では 82% の精度を達成し、最適な性能を発揮する。

ABSTRACT

The capability to perform facial analysis from video sequences has significant potential to positively impact in many areas of life. One such area relates to the medical domain to specifically aid in the diagnosis and rehabilitation of patients with facial palsy. With this application in mind, this paper presents an end-to-end framework, named 3DPalsyNet, for the tasks of mouth motion recognition and facial palsy grading. 3DPalsyNet utilizes a 3D CNN architecture with a ResNet backbone for the prediction of these dynamic tasks. Leveraging transfer learning from a 3D CNNs pre-trained on the Kinetics data set for general action recognition, the model is modified to apply joint supervised learning using center and softmax loss concepts. 3DPalsyNet is evaluated on a test set consisting of individuals with varying ranges of facial palsy and mouth motions and the results have shown an attractive level of classification accuracy in these task of 82% and 86% respectively. The frame duration and the loss function affect was studied in terms of the predictive qualities of the proposed 3DPalsyNet, where it was found shorter frame duration's of 8 performed best for this specific task. Centre loss and softmax have shown improvements in spatio-temporal feature learning than softmax loss alone, this is in agreement with earlier work involving the spatial domain.

研究の動機と目的

• 動画データを用いた顔面麻痺の自動評価と口の動き認識のエンドツーエンドフレームワークの開発を目的とする。
• センター損失とソフトマックス損失を併用した共同教師付き学習により、顔面運動分析における空間時間的特徴の学習を向上させることを目的とする。
• フレーム期間と損失関数設計が顔面麻痺評価における分類性能に与える影響を評価することを目的とする。
• 堅牢なディープラーニングベースの動画分析により、診断およびリハビリテーション支援における臨床応用を可能とすることを目的とする。
• 3D CNN と ResNet アーキテクチャが医療的文脈における動的顔面表情分析に有効であることを示すこと

提案手法

• フレームワークは、顔面運動の動画クリップから空間時間的特徴を抽出するために、ResNet バックボーンを備えた 3D CNN を採用する。
• 一般行動認識のための 3D CNN を Kinetics データセットで事前学習したものを用いて、転移学習を適用する。
• 特徴の識別性を向上させるために、センター損失とソフトマックス損失の両方を用いた共同教師付き学習を実装する。
• 多様な顔面麻痺の重症度と動きタイプを有する被験者からなる多様なテストセット上で、モデルを訓練および評価する。
• フレーム期間を体系的に変更（例：8、16、32 フレーム）することで、予測性能への影響を評価する。
• 顔面運動シーケンスにおける順序的ダイナミクスを保持することで、時間的モデリングの最適化を図る。

実験結果

リサーチクエスチョン

• RQ1 ResNet バックボーンを備えた 3D CNN は、顔面麻痺に関連する動的顔面運動をどれほど効果的に認識できるか？
• RQ2 顔面麻痺の重症度評価と動き認識において、正確な分類に最適なフレーム期間は何か？
• RQ3 ソフトマックス損失単体と比較して、センター損失とソフトマックス損失の組み合わせは、空間時間的特徴学習をどのように向上させるか？
• RQ4 Kinetics からの転移学習は、顔面麻痺分類タスクのパフォーマンスを向上させるか？
• RQ5 顔面麻痺の重症度に差がある被験者間で、モデルの一般化性能はどのように変化するか？

主な発見

• 3DPalsyNet フレームワークは、テストセットにおいて口の動き認識で 86% の分類精度を達成した。
• 提案されたフレームワークを用いて、顔面麻痺の重症度評価は 82% の精度で実施された。
• 8 フレームという短いフレーム期間が最良のパフォーマンスを示し、16 や 32 フレームといった長い期間を上回った。
• センター損失とソフトマックス損失の組み合わせは、ソフトマックス損失単体を使用した場合と比較して、空間時間的特徴学習を顕著に向上させた。
• Kinetics データセットからの転移学習の活用により、顔面麻痺タスクにおけるモデルの一般化性能とパフォーマンスが向上した。
• 結果から、動画からの自動的で臨床的に有用な顔面麻痺評価に 3D CNN を用いることが実現可能であることが示された。