[論文レビュー] Weakly-Supervised Learning for Tool Localization in Laparoscopic Videos

Armine Vardazaryan, Didier Mutter+2 more|arXiv (Cornell University)|Jun 14, 2018

Surgical Simulation and Training参考文献 17被引用数 4

ひとこと要約

本論文は、空間的アノテーションに代えて画像レベルのアノテーションのみを用いる弱教師あり深層学習手法を提案し、手術動画における手術用具の局所化を実現する。完全畳み込みネットワーク（FCN）をResNet18バックボーンと拡張空間プーリング（ESP）で拡張することで、局所化マップを生成し、88%の平均平均精度（mAP）を達成した。Cholec80データセットで評価された。

ABSTRACT

Surgical tool localization is an essential task for the automatic analysis of endoscopic videos. In the literature, existing methods for tool localization, tracking and segmentation require training data that is fully annotated, thereby limiting the size of the datasets that can be used and the generalization of the approaches. In this work, we propose to circumvent the lack of annotated data with weak supervision. We propose a deep architecture, trained solely on image level annotations, that can be used for both tool presence detection and localization in surgical videos. Our architecture relies on a fully convolutional neural network, trained end-to-end, enabling us to localize surgical tools without explicit spatial annotations. We demonstrate the benefits of our approach on a large public dataset, Cholec80, which is fully annotated with binary tool presence information and of which 5 videos have been fully annotated with bounding boxes and tool centers for the evaluation.

研究の動機と目的

• 手術動画データセットにおける空間的アノテーションの制限がモデルのスケーラビリティと一般化性能を制限するという課題に対処する。
• トレーニング時にバウンディングボックスやセグメンテーションマスクを必要としないツール局所化を実現する。
• 深層ネットワークの特徴階層を活用し、画像レベルラベルのみから空間的位置を推定する。
• Cholec80のような大規模な公開データセットにおいて、弱教師あり学習が手術用具検出および局所化に実現可能であることを示す。
• 将来的なセグメンテーション手法や自動アノテーションツールの基盤を提供する。

提案手法

• 空間分解能を保持するために、最終全結合層と平均プーリングを完全畳み込みアーキテクチャに置き換えることで、ResNet18バックボーンを変更する。
• 最後の2つの残差ブロックのストライドを2から1に変更し、特徴マップの解像度を向上させ、グローバルストライド8で出力解像度を4倍にする。
• C個の局所化マップ（C=7：ツール数）を生成するための1×1畳み込み層を用い、その後に拡張空間プーリング（ESP）を適用して、オブジェクト検出の詳細を向上させる。
• ESPプーリングを適用：$ s^c = \max z^c + \alpha \min z^c $、ここで$\alpha = 0.6$ として、クラスごとの信頼度スコアと局所化マップの精錬を実現する。
• 推論時、バイリニア補間を用いてマップをアップサンプリングし、最大活性化位置としてツール中心を予測する。
• 耐性と一般化性能を向上させるために、ランダムクロッピング、カラージッタリング、ミックスアップなどのデータ拡張技術を導入する。

実験結果

リサーチクエスチョン

• RQ1 画像レベルアノテーションのみを用いて、弱教師あり深層学習モデルが正確な手術用具の局所化を達成できるか？
• RQ2 標準的プーリングと比較して、拡張空間プーリング（ESP）は局所化精度をどのように向上させるか？
• RQ3 ミックスアップやマスキングなどのデータ拡張戦略は、手術動画データに対するモデルの一般化性能をどの程度向上させるか？
• RQ4 形状が曖昧で外見が変化しやすいツール（例：標本バッグ）に対して、モデルはどの程度の性能を示すか？
• RQ5 学習された局所化マップは、将来の弱教師ありセグメンテーションや自動アノテーションパイプラインの誘導に利用可能か？

主な発見

• 提案手法は、Cholec80テストセットにおいて、空間的アノテーションを一切用いずに88%の平均平均精度（mAP）を達成し、優れた性能を示した。
• ESPとマスキングを併用したモデル（FCN_ESP_Msk）が、予測値と真値のツール中心間の平均距離誤差が6.8%と最低となり、他のバリエーションを上回った。
• 標本バッグの局所化誤差が最も高く（平均距離9.7%）、形状の変動と中心点の曖昧さが原因とされた。
• ESPとマスキングを適用したモデルの局所化マップは、ツール領域をよりよくカバーしており、特にハサミや irrigator に対してより特徴的な活性化パターンを示した。
• ハサミや irrigator のシャフト部分が、高分解能な特徴として検出されたが、これは真値のバウンディングボックスがツール先端に集中しているのに対し、モデルがシャフトに強く反応するため、APスコアが低くなる要因となった可能性がある。
• 定性的な結果から、FCN_ESP_MM_Mskが最も一貫性があり詳細な局所化マップを生成しており、ツール先端に強く活性化され、誤検出は最小限に抑えられていた。