[論文レビュー] Using Computer Vision to Automate Hand Detection and Tracking of Surgeon Movements in Videos of Open Surgery

Michael Zhang, Xiaotian Cheng+5 more|arXiv (Cornell University)|Dec 12, 2020

Surgical Simulation and Training被引用数 14

ひとこと要約

本論文では、オープン外科手術動画における外科医の手の自動検出および追跡を目的としたコンピュータビジョン手法を提示する。本モデルは、手のバウンディングボックスアノテーションが付与された多様で公開可能なYouTube外科手術動画を用いて訓練されており、外科データにおいて従来の手検出モデルを顕著に上回る性能を発揮し、手の動きのパターンや運動経済性を評価するための正確で時間的に一貫性のある手の追跡を可能にする。

ABSTRACT

Open, or non-laparoscopic surgery, represents the vast majority of all operating room procedures, but few tools exist to objectively evaluate these techniques at scale. Current efforts involve human expert-based visual assessment. We leverage advances in computer vision to introduce an automated approach to video analysis of surgical execution. A state-of-the-art convolutional neural network architecture for object detection was used to detect operating hands in open surgery videos. Automated assessment was expanded by combining model predictions with a fast object tracker to enable surgeon-specific hand tracking. To train our model, we used publicly available videos of open surgery from YouTube and annotated these with spatial bounding boxes of operating hands. Our model's spatial detections of operating hands significantly outperforms the detections achieved using pre-existing hand-detection datasets, and allow for insights into intra-operative movement patterns and economy of motion.

研究の動機と目的

• オープン外科手術のパフォーマンスを評価するための客観的でスケーラブルなツールの不足に応えること。現在のところ、この分野は主に主観的な専門家レビューに依存している。
• コンピュータビジョンを用いて、オープン外科手術動画における外科医の手の検出および追跡を、堅牢で自動化されたシステムとして開発すること。
• 実際の外科手術動画における視覚的変形性、被覆、変動する撮影条件に起因する手検出の課題を克服すること。
• 時間的に一貫性のある手の追跡を通じて、外科手術の運動パターンおよび運動経済性の下流分析を可能にすること。
• 多様で公開可能な外科手術動画で訓練されたモデルが、一般の手検出データセットで訓練されたモデルに比べ、外科学的分野において優れた性能を示すことを実証すること。

提案手法

• 空間的手検出には、フォーカル損失を用いたRetinaNetベースの1ショットオブジェクト検出器が用いられた。
• 空間的なバウンディングボックスを用いて手術中の手をアノテートした、多様で大規模なオープン外科手術動画データセットをYouTubeから収集した。
• モデルは、一般向けの手検出データセットではなく、独自に構築した外科手術動画データセットに限定して訓練された。
• フレーム単位での手検出結果を、時間的に一貫性のある手固有の軌道を生成するためにSORT（Simple Online and Realtime Tracking）アルゴリズムに供給した。
• 本システムにより、動画シーケンス全体にわたる手固有の追跡が可能となり、運動パターンおよび器用さの分析が可能になった。
• 追跡出力から軌道マップを生成し、手の動きのダイナミクスを可視化および解釈することができた。

実験結果

リサーチクエスチョン

• RQ1 公開可能なオープン外科手術動画で訓練されたディープラーニングモデルは、一般の手検出データセットで訓練されたモデルに比べ、より優れた手検出性能を達成できるか？
• RQ2 オープン外科手術動画における自動的手検出および追跡は、外科手術の運動パターンおよび運動経済性の客観的評価をどの程度支援できるか？
• RQ3 最先端のオブジェクト検出器とリアルタイムトラッキングの組み合わせは、複雑な外科手術動画シーケンスにおいて手のアイデンティティをどの程度維持できるか？
• RQ4 モデルは、被覆、照明の変動、変形性にかかわらず、頑健な検出を可能にするために、どのような視覚的および文脈的手がかりを学習しているか？
• RQ5 得られた軌道マップは、専門家の外科評価と整合性のある洞察を提供できるか？

主な発見

• 提案されたモデルは、一般の手検出データセットで訓練されたモデルに比べ、オープン外科手術動画における手検出性能が顕著に優れており、ドメイン特化型の一般化能力を示した。
• モデルは、クローズアップ、被覆、照明の変動、1フレームに複数の手が存在する状況を含む多様な条件下でも、手を正常に検出できた。
• 誤検出が主な誤差タイプであり、主に手に似た形状と位置を持つ手術用ドレープなど、他の物体を誤って検出する傾向があった。
• RetinaNetによる検出とSORTによる追跡の組み合わせにより、時間的に一貫性があり手固有の軌道が得られ、運動パターンの有意義な分析が可能になった。
• 軌道マップは明確な運動特性を明らかにした：組織切除の際には安定した動きが観察され、縫合の際には効率的で滑らかな動きが確認され、専門家の評価と整合的であった。
• 本システムは、複雑なタスクにおける微細な指の調整を通じて、高い器用さを同定する能力を示しており、複雑な作業における微細運動制御の重要性を強調した。