[論文レビュー] Tool Detection and Operative Skill Assessment in Surgical Videos Using Region-Based Convolutional Neural Networks

Amy Jin, Serena Yeung+5 more|arXiv (Cornell University)|Feb 24, 2018

Surgical Simulation and Training参考文献 19被引用数 42

ひとこと要約

本論文は、領域ベースCNNアプローチ（Faster R-CNN）を用いて実世界の腹腔鏡動画における手術器具を検出・局在し、新しい器具配置データセットを構築し、器具指標を用いてGOALSに沿ったフィードバックを含む手術パフォーマンスを評価する。

ABSTRACT

Five billion people in the world lack access to quality surgical care. Surgeon skill varies dramatically, and many surgical patients suffer complications and avoidable harm. Improving surgical training and feedback would help to reduce the rate of complications, half of which have been shown to be preventable. To do this, it is essential to assess operative skill, a process that currently requires experts and is manual, time consuming, and subjective. In this work, we introduce an approach to automatically assess surgeon performance by tracking and analyzing tool movements in surgical videos, leveraging region-based convolutional neural networks. In order to study this problem, we also introduce a new dataset, m2cai16-tool-locations, which extends the m2cai16-tool dataset with spatial bounds of tools. While previous methods have addressed tool presence detection, ours is the first to not only detect presence but also spatially localize surgical tools in real-world laparoscopic surgical videos. We show that our method both effectively detects the spatial bounds of tools as well as significantly outperforms existing methods on tool presence detection. We further demonstrate the ability of our method to assess surgical quality through analysis of tool usage patterns, movement range, and economy of motion.

研究の動機と目的

• 実世界の腹腔鏡動画における外科器具の検出・分類および空間局在を自動化する。
• 器具を囲む境界ボックスを含むデータセット（m2cai16-tool-locations）を作成・公開する。
• 器具の使用パターンと動作指標の分析を可能にし、手術パフォーマンスを評価する。
• 空間検出がフレームレベルの器具検出精度を改善し、パフォーマンス評価を支援することを実証する。

提案手法

• Faster R-CNNを用いて7つの外科器具を検出する（VGG-16をベースネットワークとして）。
• ImageNetで事前学習し、次にm2cai16-tool-locationsで空間的な器具局在のためにファインチューニングする。
• IoUベースのアンカーを用いてRegion Proposal Networkを訓練し、分類と境界ボックス回帰を組み合わせた2部の損失を用いる。
• 空間検出をフレームレベルの存在推定に変換し、m2cai16-toolでの比較に用いる。
• クラスごとの平均適合率とmean average precision (mAP)で評価する。
• 5 fpsでリアルタイム検出を提供し、器具の軌道と使用パターンからパフォーマンス指標を抽出する。

実験結果

リサーチクエスチョン

• RQ1 領域ベースCNNは実世界の腹腔鏡動画で外科器具を正確に局在できるか？
• RQ2 空間的な器具局在はフレームレベルの存在検出性能を従来法より向上させるか？
• RQ3 自動器具局在は外科技術と手技の信頼できる客観的評価を可能にするか？
• RQ4 器具使用から導かれる定性的・定量的指標は専門家のGOALS評価とどの程度相関するか？

主な発見

• モデルは7つの器具に対する空間的器具局在でmAP63.1を達成。
• フレームレベルの器具存在検出はmAP81.8を達成し、従来のTool Presence Detection Challengeの結果を大きく上回っている。
• 空間的局在は器具の使用パターン、動作範囲、動作の経済性の分析を可能にし、GOALSベースの評価と相関する。
• Q1–Q4：空間的な器具検出は遮蔽や角度の変化にも頑健だが、形状の曖昧さと使用パターンのため一部の器具（例：irrigator）でAPが低い。
• このアプローチは標準的なGPUハードウェアで5 fpsのリアルタイム実行。
• 本研究は空間局在のために2532の注釈付きフレームを含むm2cai16-tool-locationsを公開公開する。