[論文レビュー] Towards human performance on automatic motion tracking of infant spontaneous movements.

Daniel Groos, Lars Adde+3 more|arXiv (Cornell University)|Oct 12, 2020

Infant Development and Preterm Care参考文献 36被引用数 6

ひとこと要約

本研究では、1,424本の動画からなる大規模な臨床データセットを用いて、4つの畳み込みニューラルネットワークを用いた、乳児の自発的運動を深層学習ベースで追跡するシステムを開発した。最良のモデルは、キーポイント推定において人間の評価者と同等の精度を達成しており、臨床現場への導入に適した計算効率を維持している。

ABSTRACT

Assessment of spontaneous movements can predict the long-term developmental outcomes in high-risk infants. In order to develop algorithms for automated prediction of later function based on early motor repertoire, high-precision tracking of segments and joints are required. Four types of convolutional neural networks were investigated on a novel infant pose dataset, covering the large variation in 1 424 videos from a clinical international community. The precision level of the networks was evaluated as the deviation between the estimated keypoint positions and human expert annotations. The computational efficiency was also assessed to determine the feasibility of the neural networks in clinical practice. The study shows that the precision of the best performing infant motion tracker is similar to the inter-rater error of human experts, while still operating efficiently. In conclusion, the proposed tracking of infant movements can pave the way for early detection of motor disorders in children with perinatal brain injuries by quantifying infant movements from video recordings with human precision.

研究の動機と目的

• 発達予後を早期に予測するため、乳児の自発的運動を正確に追跡する自動化されたシステムの開発を目的とする。
• 多様な臨床動画データにおける乳児の運動パターンや身体の姿勢の高いばらつきに対処することを目的とする。
• 畳み込みニューラルネットワークの精度と計算効率を、高リスク乳児をモニタリングする現実世界の臨床応用において評価することを目的とする。
• 小児運動評価における自動化された運動追跡と人間の専門家によるアノテーションの精度のギャップを埋めることを目的とする。

提案手法

• 4種類の畳み込みニューラルネットワークを、乳児の自発的運動を捉えた新規の大規模データセット（1,424本の臨床動画）上で学習・評価した。
• ネットワークがキーポイントの位置を予測し、人間の専門家によるアノテーションと比較することで、推定精度を定量化した。
• 自動化システムの性能を評価する基準として、人間の専門家間の評価者間誤差を用いた。
• リアルタイムまたはニアリアルタイムの臨床応用における実現可能性を評価するため、計算効率を測定した。
• モデルアーキテクチャを最適化し、乳児の身体の形状、姿勢、運動ダイナミクスの大きなばらつきに対応できるようにした。
• 予測されたキーポイント位置と真値との間のずれを指標として、性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、乳児の自発的運動を追跡する際、人間の専門家と同等のキーポイント推定精度を達成できるか？
• RQ2 異なる畳み込みニューラルネットワークアーキテクチャは、多様で現実世界の乳児運動動画データセット上でどのように性能を発揮するか？
• RQ3 最良のモデルの計算効率はどの程度で、臨床現場への導入に適しているか？
• RQ4 自動化システムは、手動アノテーションと比較して、評価者間誤差をどの程度低減できるか？

主な発見

• 最良の畳み込みニューラルネットワークは、人間の専門家間の評価者間誤差と同等のキーポイント推定精度を達成した。
• 本システムは、現実世界の臨床データセットにおける多様な乳児の姿勢、運動、動画品質に対しても高い頑健性を示した。
• 最高性能のモデルの計算効率は、リアルタイムまたはニアリアルタイム要件を満たす臨床現場への導入に適していることを示した。
• 自動追跡システムは、手動アノテーションへの依存を減らしながらも、臨床レベルの正確さを維持した。
• 結果から、自動化された運動追跡が、産科的脳障害を有する乳児における運動障害の早期発見に信頼できるツールとして機能できることを示唆している。
• 1,424本の動画からなる大規模データセットにおける本システムのパフォーマンスは、臨床集団全体にわたる一般化可能性を確認している。