[論文レビュー] ESAD: Endoscopic Surgeon Action Detection Dataset

Vivek Singh Bawa, Gurkirt Singh+9 more|arXiv (Cornell University)|Jun 12, 2020

Surgical Simulation and Training被引用数 8

ひとこと要約

本論文は、実際の前立腺摘出術動画における内視鏡外科技術者の行動検出のための、初めての大規模なデータセットESADを紹介する。このデータセットは、ツールレベルのバウンディングボックスと行動ラベルでアノテートされている。本研究では、ResNetバックボーンを用いたSSDを用いたフレームレベルの行動検出ベースラインを提案し、Focal損失およびOHEMの2つの損失関数を採用した。テストセットにおける平均APは16.1を達成し、外科的ロボット工学およびAI支援手術分野の研究におけるベンチマークを確立した。

ABSTRACT

In this work, we take aim towards increasing the effectiveness of surgical assistant robots. We intended to make assistant robots safer by making them aware about the actions of surgeon, so it can take appropriate assisting actions. In other words, we aim to solve the problem of surgeon action detection in endoscopic videos. To this, we introduce a challenging dataset for surgeon action detection in real-world endoscopic videos. Action classes are picked based on the feedback of surgeons and annotated by medical professional. Given a video frame, we draw bounding box around surgical tool which is performing action and label it with action label. Finally, we presenta frame-level action detection baseline model based on recent advances in ob-ject detection. Results on our new dataset show that our presented dataset provides enough interesting challenges for future method and it can serveas strong benchmark corresponding research in surgeon action detection in endoscopic videos.

研究の動機と目的

• 最小侵襲外科技術（MIS）動画における外科医の行動検出のための実世界データセットの不足に対処すること。
• 外科医の行動をリアルタイムで認識可能にすることで、手術アシスタントロボットの安全性と有効性を向上させること。
• 内視鏡手術動画分析におけるAIモデルの開発と評価のための標準化されたベンチマークを提供すること。
• 自律的外科アシスタント、異常検出、外科医フィードバックシステム分野の研究を支援すること。

提案手法

• データセットESADは、前立腺摘出術手術から得た実際の内視鏡動画を含み、行動ラベルおよびツール固有のバウンディングボックスでアノテートされている。
• 行動クラスは外科医のフィードバックに基づいて選定され、臨床的妥当性を確認するため医療専門家によって検証された。
• 特徴抽出のためのResNetバックボーンを用いた1ショット検出器（SSD）を用いたフレームレベルの行動検出ベースラインモデルを構築した。
• クラスの不均衡を処理し、検出精度を向上させるために、Focal Lossおよびオンラインハード例マイニング（OHEM）の2つの損失関数を評価した。
• 複数の入力画像サイズ（200–800）および異なるバックボーンネットワーク（ResNet18からResNet101まで）を用いて、性能のトレードオフを評価するための訓練を実施した。
• 評価には3つのIOU閾値（0.1、0.3、0.5）を用い、検証セットおよびテストセットの両方でAP10、AP30、AP50、および平均APを計算した。

実験結果

リサーチクエスチョン

• RQ1 実際の臨床的意義を持つ、ツールレベルのアノテーションが付与された、実世界の内視鏡外科技術者の行動検出用データセットを構築できるか？
• RQ2 異なる損失関数（Focal対OHEM）は、手術動画の行動検出性能にどのように影響を与えるか？
• RQ3 入力画像の解像度およびバックボーンネットワークの深さは、この挑戦的な医療ビジョンタスクにおけるモデル性能にどのような影響を与えるか？
• RQ4 提案されたベースラインモデルは、実際の手術動画シーケンスにおける未学習のテストデータにどの程度一般化できるか？

主な発見

• Focal Lossに基づくモデルが、テストセットにおける平均APが16.1に達し、未学習データへの一般化性能が優れていることが示された。
• OHEM損失は検証セットでは優れた性能（平均AP 24.4）を示したが、テストセットでは劣悪な性能を示し、検証データへの過学習が生じた可能性がある。
• 大きな入力画像サイズ（例：800）は、テスト性能を一貫して向上させなかったが、OHEM損失を用いた場合、検証スコアは向上した。
• 中程度の深さのバックボーン（例：ResNet34およびResNet50）が、より深いモデル（例：ResNet101）を上回る性能を示し、このタスクにおける最適な複雑さであることが示された。
• 最も優れたベースラインモデルでさえテストセットで16.1%の平均APにとどまり、データセットが大きな課題を提供していることが明らかになった。今後の手法の進展が不可欠である。
• 標準的なコンピュータビジョン手法ではこの分野では不十分であることが結果から確認され、ESADのような専用ベンチマークの必要性が裏付けられた。