[論文レビュー] RASNet: Segmentation for Tracking Surgical Instruments in Surgical Videos Using Refined Attention Segmentation Network

Zhen-Liang Ni, Gui‐Bin Bian+4 more|arXiv (Cornell University)|May 21, 2019

Surgical Simulation and Training参考文献 12被引用数 13

ひとこと要約

本稿では、高レベル特徴から得られるグローバルコンテキストを活用して低レベル特徴を精緻化することで特徴統合を向上させる、新規のアテンション統合モジュール（AFM）を備えたU-Netベースのセグメンテーションネットワーク、RASNetを提案する。微調整学習、交差エントロピーとlog-Jaccardインデックスを組み合わせたハイブリッド損失関数、およびMICCAI EndoVis 2017データセットを用いた訓練により、RASNetは外科的器具のセグメンテーションと分類において94.65%の平均Diceスコアおよび90.33%の平均IOUを達成し、最先端の性能を示した。

ABSTRACT

Segmentation for tracking surgical instruments plays an important role in robot-assisted surgery. Segmentation of surgical instruments contributes to capturing accurate spatial information for tracking. In this paper, a novel network, Refined Attention Segmentation Network, is proposed to simultaneously segment surgical instruments and identify their categories. The U-shape network which is popular in segmentation is used. Different from previous work, an attention module is adopted to help the network focus on key regions, which can improve the segmentation accuracy. To solve the class imbalance problem, the weighted sum of the cross entropy loss and the logarithm of the Jaccard index is used as loss function. Furthermore, transfer learning is adopted in our network. The encoder is pre-trained on ImageNet. The dataset from the MICCAI EndoVis Challenge 2017 is used to evaluate our network. Based on this dataset, our network achieves state-of-the-art performance 94.65% mean Dice and 90.33% mean IOU.

研究の動機と目的

• 内視鏡動画における外科的器具セグメンテーションの精度を向上させること。これはロボット支援外科学にとって極めて重要である。
• 視野が限定的であること、器具の幾何形状が多様であること、および前景領域が小さいために生じる重度のクラス不均衡といった課題に対処すること。
• 器具の分類を同時に実行し、正確な境界予測を生成するセグメンテーションネットワークを開発すること。
• アテンションメカニズムを用いて、エンコーダーとデコーダー間の特徴統合を強化し、グローバルコンテキストを統合することで、より正確な局所化を実現すること。
• 損失関数の設計と微調整学習により、小さな、まれな、または視覚的に類似した器具の分類性能を向上させること。

提案手法

• RASNetは、ImageNetで事前学習されたResNet-50をエンコーダーとして用いたU-Netアーキテクチャを採用し、特徴表現の向上を図るために微調整学習を実施する。
• 低レベル特徴を高レベル特徴からのグローバルコンテキストを用いて動的に重み付けすることで、単純な連結処理に代わるアテンション統合モジュール（AFM）を導入する。
• AFMは、高レベル特徴に対してグローバル平均プーリングを実行し、1×1畳み込みとバッチ正則化を適用した後、ソフトマックスを用いて特徴調製用のアテンション重みを生成する。
• 交差エントロピーとJaccardインデックスの対数を組み合わせたハイブリッド損失関数を採用し、前景（器具）と背景ピクセル間のクラス不均衡を緩和する。
• スカイプ接続により高レベルと低レベル特徴を統合し、AFMが関連領域に注目することで、より正確な局所化を実現する。
• ネットワークはMICCAI EndoVis 2017データセット上でエンドツーエンドに訓練され、推論により各器具クラスごとにピクセル単位のマスクが生成される。

実験結果

リサーチクエスチョン

• RQ1 小さな、変形しやすく、部分的に隠蔽されたインスタンスを有する内視鏡動画において、アテンションメカニズムが外科的器具のセグメンテーション精度を向上させ得るか？
• RQ2 標準的な連結処理と比較して、提案されたアテンション統合モジュール（AFM）はエンコーダーとデコーダー間の特徴統合をどの程度向上させるか？
• RQ3 ハイブリッド損失関数（交差エントロピー + log-Jaccard）は、外科的器具セグメンテーションにおけるクラス不均衡をどの程度緩和できるか？
• RQ4 ImageNetからの微調整学習は、限られた外科学動画データセットにおける性能にどのような影響を及えるか？
• RQ5 どの器具タイプが最も分類が困難であり、性能のばらつきの背後にある要因は何か？

主な発見

• RASNetはMICCAI EndoVis 2017データセット上で94.65%の平均Diceスコアおよび90.33%の平均IOUを達成し、U-Net（70.04% Dice）とTernausNet（88.04% Dice）を上回る性能を示した。
• アテンション統合モジュール（AFM）を導入することで、同じネットワーク構造においてDiceスコアが5.34ポイント、IOUが7.58ポイント向上した。
• カーブドハサミは最高の性能（99.01% Dice）を示したが、プログラスフォースプとグリッピングリトラクタは低いスコア（それぞれ84.59%および88.05% Dice）を示し、視覚的類似性とデータ不足が要因であった。
• ImageNetで事前学習されたネットワークは94.65%のDiceスコアを達成し、ランダム初期化（78.11% Dice）を著しく上回った。これは微調整学習の有効性を示している。
• 可視化比較では、RASNetの予測結果が正解マスクに極めて近いことが確認されたが、U-NetとTernausNetは誤分類や境界の不正確さを示した。
• ハイブリッド損失関数はクラス不均衡の影響を効果的に軽減し、前景ピクセル数が少ない小さな、まれな器具のセグメンテーション性能を向上させた。