[論文レビュー] Video and Accelerometer-Based Motion Analysis for Automated Surgical Skills Assessment

Aneeq Zia, Yachna Sharma+3 more|arXiv (Cornell University)|Feb 24, 2017

Surgical Simulation and Training被引用数 4

ひとこと要約

本稿では、動画および加速度計データを用いた手術スキル評価のためのエントロピーに基づく特徴量—近似エントロピー（ApEn）およびクロス近似エントロピー（XApEn）—を提案する。これらの特徴量は、DCT、DFT、SMTといった従来手法を上回り、自動OSATS評価において優れた性能を示す。動画と加速度計の特徴量をApEn+XApEnと融合させた結果、縫合およびノット結びタスクにおいて最高の精度を達成した。

ABSTRACT

Purpose: Basic surgical skills of suturing and knot tying are an essential part of medical training. Having an automated system for surgical skills assessment could help save experts time and improve training efficiency. There have been some recent attempts at automated surgical skills assessment using either video analysis or acceleration data. In this paper, we present a novel approach for automated assessment of OSATS based surgical skills and provide an analysis of different features on multi-modal data (video and accelerometer data). Methods: We conduct the largest study, to the best of our knowledge, for basic surgical skills assessment on a dataset that contained video and accelerometer data for suturing and knot-tying tasks. We introduce "entropy based" features - Approximate Entropy (ApEn) and Cross-Approximate Entropy (XApEn), which quantify the amount of predictability and regularity of fluctuations in time-series data. The proposed features are compared to existing methods of Sequential Motion Texture (SMT), Discrete Cosine Transform (DCT) and Discrete Fourier Transform (DFT), for surgical skills assessment. Results: We report average performance of different features across all applicable OSATS criteria for suturing and knot tying tasks. Our analysis shows that the proposed entropy based features out-perform previous state-of-the-art methods using video data. For accelerometer data, our method performs better for suturing only. We also show that fusion of video and acceleration features can improve overall performance with the proposed entropy features achieving highest accuracy. Conclusions: Automated surgical skills assessment can be achieved with high accuracy using the proposed entropy features. Such a system can significantly improve the efficiency of surgical training in medical schools and teaching hospitals.

研究の動機と目的

• 熟練者の手動評価に依存しない、堅牢で自動化された手術スキル評価システムの構築を目的とする。
• 従来手法が運動の繰り返し性に注目する一方で、手術運動における不規則性や予測可能性を無視するという限界を是正することを目的とする。
• 動画および加速度計のマルチモーダルデータに対するエントロピー特徴量の性能を、OSATS基準に基づく手術スキル評価の文脈で評価することを目的とする。
• 大規模データセットを用いて、提案されたエントロピー特徴量をDCT、DFT、SMT、および運動テクスチャ手法と比較することを目的とする。
• 動画と加速度計特徴量の早期融合が、手術スキル評価の精度向上に寄与するかを検証することを目的とする。

提案手法

• 動画および加速度計センサからの時系列運動データの規則性と予測可能性を定量化するため、近似エントロピー（ApEn）およびクロス近似エントロピー（XApEn）を新規特徴量として導入する。
• 縫合およびノット結びタスクの手術運動シーケンスにこれらのエントロピー特徴量を適用し、スキルレベルを示す非反復的・不規則な運動パターンを捉える。
• エントロピー特徴量を、順次運動テクスチャ（SMT）、離散コサイン変換（DCT）、離散フーリエ変換（DFT）といった既存手法と比較する。
• 両モダリティの補完的情報を活用するため、動画特徴量と加速度計特徴量を連結することで早期融合戦略を採用する。
• 同期された動画および加速度計データを備えた54件の縫合および62件のノット結びのサンプルを用い、モダリティ間の整合性を確保する。
• 訓練データサイズの変動に耐える性能を評価するため、2-、5-、10-foldの交差検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 エントロピーに基づく特徴量（ApEnおよびXApEn）は、従来の周波数領域および運動テクスチャに基づく特徴量を上回る性能を示すか？
• RQ2 動画特徴量と加速度計特徴量のどちらがOSATS基準の評価において優れた性能を示すか？
• RQ3 動画と加速度計特徴量の早期融合は、手術スキル評価の総合分類精度を向上させるか？
• RQ4 交差検証スキーム（2-、5-、10- fold）による訓練データサイズの変動に対して、提案されたエントロピー特徴量はどれほど頑健か？
• RQ5 DFT や DCT といった反復性に注目する手法とは異なり、エントロピー特徴量はスキル関連の運動の不規則性をよりよく捉えているか？

主な発見

• 動画と加速度計の特徴量を融合した場合、ApEn+XApEn特徴量は縫合で平均93.9% ± 3.7、ノット結びで94.0% ± 2.8の最高精度を達成した。
• すべての特徴量タイプにおいて、動画単体のデータが加速度計単体のデータを上回った。DCTは縫合で90.6% ± 3.1、ノット結びで91.7% ± 6.1の精度を示した。
• 動画と加速度計の融合により、ApEn+XApEnでは性能が向上（縫合93.2%、ノット結び94.0%）した一方、DCTおよびDFTでは性能が低下した。
• ApEn+XApEn特徴量は、2-、5-、10-foldの交差検証スキームにおいて一貫してDCTおよびDFTを上回る頑健性を示した。
• エントロピー特徴量は、一般化性能および運動の不規則性への感受性に優れており、反復的でない手術タスクにも適した強力な特徴量であると考えられる。
• 本研究は、同期されたマルチモーダルデータを用いた、類似研究の中で最大規模の分析を実施した。