[論文レビュー] The SARAS Endoscopic Surgeon Action Detection (ESAD) dataset: Challenges and methods

Vivek Singh Bawa, Gurkirt Singh+17 more|arXiv (Cornell University)|Apr 7, 2021

Surgical Simulation and Training参考文献 43被引用数 29

ひとこと要約

この論文は ESAD を紹介します。外科医の行為検出のための初の大規模データセットである ESAD を提案し、ベースラインモデルとトップ課題手法を分析し、将来の手術ロボティクス研究の課題とベンチマークについて論じます。

ABSTRACT

For an autonomous robotic system, monitoring surgeon actions and assisting the main surgeon during a procedure can be very challenging. The challenges come from the peculiar structure of the surgical scene, the greater similarity in appearance of actions performed via tools in a cavity compared to, say, human actions in unconstrained environments, as well as from the motion of the endoscopic camera. This paper presents ESAD, the first large-scale dataset designed to tackle the problem of surgeon action detection in endoscopic minimally invasive surgery. ESAD aims at contributing to increase the effectiveness and reliability of surgical assistant robots by realistically testing their awareness of the actions performed by a surgeon. The dataset provides bounding box annotation for 21 action classes on real endoscopic video frames captured during prostatectomy, and was used as the basis of a recent MIDL 2020 challenge. We also present an analysis of the dataset conducted using the baseline model which was released as part of the challenge, and a description of the top performing models submitted to the challenge together with the results they obtained. This study provides significant insight into what approaches can be effective and can be extended further. We believe that ESAD will serve in the future as a useful benchmark for all researchers active in surgeon action detection and assistive robotics at large.

研究の動機と目的

• 内視鏡下 MIS 手術における外科医の行動検出のための ESAD データセットを導入する。
• 実際の内視鏡フレームに対して境界ボックスを用いたアノテーション手順とアクションクラスを定義する。
• SARAS-ESAD チャレンジとベースラインモデルを通じてベンチマークフレームワークを確立する。
• 将来の研究を指針とするために、外科手術行動検出の課題と特性を特定する。

提案手法

• 実際の根治的前立腺全摘出術の内視鏡フレームに対して境界ボックスを用いた 21 アクションクラスをアノテーションする形で ESAD を作成する。
• 手動境界ボックスのアノテーションには VoTT を使用し、アクション文脈のラベリングを保証する厳密なガイドラインを定義する（臓器と工具の近接、30-70% 内容割合ルール）。
• ResNet バックボーンと固定 BN 層を用いた Feature Pyramidal Network (FPN) に基づくベースラインの単段検出器を公開する。
• クラス不均衡に対処するため、Online Hard Example Mining (OHEM) と focal loss の2つの検出損失を用いて実験する。
• IoU 閾値が 0.1、0.3、0.5 のときの mean Average Precision (mAP)（Frame-mAP）で評価する。
• 再現性を確保するための実装詳細とオープンソースのベースラインコードを提供する。

実験結果

リサーチクエスチョン

• RQ1 内視鏡ビデオにおける外科医の行動検出の方法論的・実践的課題は何か。
• RQ2 ESAD データセットは MIS/R-MIS 設定における行動検出手法のベンチマークをどのように可能にするか。
• RQ3 さまざまな検出器アーキテクチャと損失関数は、ESAD で異なる IoU 閾値の下でどのように性能を発揮するか。
• RQ4 クラス不均衡と細粒度のアクション定義が検出性能に与える影響はどのようなものか。
• RQ5 ベースラインとトップパフォーミング手法は検証セットとテストセットでどのように比較されるか。

主な発見

• ESAD は 4 本の RARP 動画を含み、21 クラスにまたがる 46,325 アクション事例がある。
• 学習、検証、テストの分割はそれぞれ 22,601 フレーム（28,055 アクション）、4,574 フレーム（7,133 アクション）、6,223 フレーム（11,565 アクション）を含む。
• ベースラインの結果は、画像サイズを大きくすることで OHEM 損失を用いた検証精度が向上することを示すが、クラス不均衡の差によりテストセットへは必ずしも反映されない可能性がある。
• データセットは高い intra-class variation と低い inter-class variation を示しており、細かなアクションの識別を難しくしている。
• アノテーションガイドラインは 30-70% の物体-内容バランスを含む境界ボックスを強制し、アクションラベリングのために工具が臓器コンテキストに近接していることを要求する。