[論文レビュー] Surgical Visual Domain Adaptation: Results from the MICCAI 2020 SurgVisDom Challenge

Aneeq Zia, Kiran Bhattacharyya+11 more|arXiv (Cornell University)|Feb 26, 2021

Generative Adversarial Networks and Image Synthesis参考文献 44被引用数 13

ひとこと要約

本論文は、2020年MICCAI SurgVisDom Challengeの結果を提示している。このチャレンジでは、仮想現実（VR）シミュレーションで訓練したモデルを臨床的・豚の動画でテストすることで、外科手術動画解析における視覚的ドメイン適応を調査した。主な発見は、わずかな臨床的・豚のデータでさえも、VRデータのみで訓練したモデルよりも一般化性能を著しく向上させることである。

ABSTRACT

Surgical data science is revolutionizing minimally invasive surgery by enabling context-aware applications. However, many challenges exist around surgical data (and health data, more generally) needed to develop context-aware models. This work - presented as part of the Endoscopic Vision (EndoVis) challenge at the Medical Image Computing and Computer Assisted Intervention (MICCAI) 2020 conference - seeks to explore the potential for visual domain adaptation in surgery to overcome data privacy concerns. In particular, we propose to use video from virtual reality (VR) simulations of surgical exercises in robotic-assisted surgery to develop algorithms to recognize tasks in a clinical-like setting. We present the performance of the different approaches to solve visual domain adaptation developed by challenge participants. Our analysis shows that the presented models were unable to learn meaningful motion based features form VR data alone, but did significantly better when small amount of clinical-like data was also made available. Based on these results, we discuss promising methods and further work to address the problem of visual domain adaptation in surgical data science. We also release the challenge dataset publicly at https://www.synapse.org/surgvisdom2020.

研究の動機と目的

• プライバシーおよびデータ共有の制約により、公開可能な外科データセットが限られているという課題に対処する。
• ロボット支援手術の仮想現実（VR）シミュレーションが、実臨床環境における外科的タスク認識の代理として機能するかを検討する。
• VRから臨床的・豚の外科動画ドメインへの知識転送の有効性を評価する視覚的ドメイン適応技術の効果を検証する。
• 純粋なVRデータで訓練したモデル（ハードドメイン適応）と、少量の臨床データでファインチューニングしたモデル（ソフトドメイン適応）の性能を比較する。

提案手法

• MICCAI 2020エンドスコピックビジョン（EndoVis）コンペティション内にチャレンジを企画し、外科動画解析における視覚的ドメイン適応手法の評価を実施した。
• 2つのトレーニングルールを提供した：1つはVR動画のみを使用する（ハードドメイン適応）、もう1つはVRと少量の豚モデル動画を組み合わせる（ソフトドメイン適応）。
• すべての提出物で3次元畳み込みニューラルネットワーク（3D-CNN）をコアアーキテクチャとして採用し、前処理および特徴抽出の方法にばらつきを認めた。
• da Vinci外科シミュレータ（VR）と実際の豚モデルのデータを用い、フレームレート（60 fps VR、20 fps 豚）および解像度の違いを考慮した。
• 標準的な動画アクション認識評価指標（重み付きおよび非重み付きF1スコア、グローバルF1スコア、バランス精度）を用いて評価した。
• 一部の提出物では、ツール検出およびオプティカルフロー推定を前処理として採用し、Kineticsデータセットで事前学習したモデルを用いて特徴学習を改善した。

実験結果

リサーチクエスチョン

• RQ1 純粋に仮想現実（VR）外科シミュレーションで訓練したモデルは、臨床的・豚の外科動画ドメインに一般化できるか？
• RQ2 わずかな量の実臨床的・豚の動画データを含めることで、ドメイン間の外科的タスク認識におけるモデル性能はどの程度向上するか？
• RQ3 異なるディープラーニングアーキテクチャおよび前処理戦略（例：ツール検出、オプティカルフロー）は、外科動画解析におけるドメイン適応性能にどのように影響するか？
• RQ4 純粋なVRデータで訓練したモデルと、限られた臨床データでファインチューニングしたモデルの間で、異なる外科的タスクにおいて性能にどのような差が生じるか？
• RQ5 クラス不均衡およびデータセットサイズは、外科的視覚的ドメイン適応におけるモデルの一般化にどのように影響するか？

主な発見

• 純粋なVRデータで訓練したモデル（カテゴリ2）は、ランダムベースラインと僅かに上回る性能にとどまり、臨床的・豚のドメインへの一般化が著しく劣っていることが示された。
• わずかな割合（約10％）の臨床的・豚の動画をトレーニングに組み込むことで（カテゴリ1）、すべての指標で顕著な性能向上が見られ、最良のチーム（Parakeet）はバランス精度0.559を達成した。
• カテゴリ1では、すべてのチームがランダム予測を上回った。これは、VRと臨床データの組み合わせが、転送可能な特徴の学習を可能にしていることを示している。
• ディスsectionタスクで最も一貫性のある性能を示し、ノットタイイングおよびニードルドライブのタスクでは低い性能を示した。これは、これらのクラスに使用可能なトレーニングサンプルが少なかったことに起因する。
• チームParakeetは、バランス精度（0.559）とグローバルF1スコア（0.475）の両方で最高を記録し、特にディスsectionおよびニードルドライブタスクで他を上回った。
• Kineticsで事前学習し、ツール検出の前処理を施したことで、カテゴリ1では性能が向上したが、カテゴリ2では同様の向上が得られなかった。これは、実データがなければドメインシフトが依然として大きな課題であることを示唆している。