[論文レビュー] U-NetPlus: A Modified Encoder-Decoder U-Net Architecture for Semantic and Instance Segmentation of Surgical Instrument

S. M. Kamrul Hasan, Cristian A. Linte|arXiv (Cornell University)|Feb 24, 2019

Surgical Simulation and Training参考文献 25被引用数 17

ひとこと要約

本論文では、転置畳み込みを最近傍補間へ置き換え、事前学習済みVGGエンコーダーを統合することで、外科的インストゥルメント分類を向上させた変更版U-Netアーキテクチャ、U-NetPlusを提案する。MICCAI 2017 EndoVisデータセットにおいて、二値分類で90.20%のDICEスコアを達成し、チェッカーボードアーチファクトが低減され、収束が速く、先行研究を上回る性能を示した。

ABSTRACT

Conventional therapy approaches limit surgeons' dexterity control due to limited field-of-view. With the advent of robot-assisted surgery, there has been a paradigm shift in medical technology for minimally invasive surgery. However, it is very challenging to track the position of the surgical instruments in a surgical scene, and accurate detection & identification of surgical tools is paramount. Deep learning-based semantic segmentation in frames of surgery videos has the potential to facilitate this task. In this work, we modify the U-Net architecture named U-NetPlus, by introducing a pre-trained encoder and re-design the decoder part, by replacing the transposed convolution operation with an upsampling operation based on nearest-neighbor (NN) interpolation. To further improve performance, we also employ a very fast and flexible data augmentation technique. We trained the framework on 8 x 225 frame sequences of robotic surgical videos, available through the MICCAI 2017 EndoVis Challenge dataset and tested it on 8 x 75 frame and 2 x 300 frame videos. Using our U-NetPlus architecture, we report a 90.20% DICE for binary segmentation, 76.26% DICE for instrument part segmentation, and 46.07% for instrument type (i.e., all instruments) segmentation, outperforming the results of previous techniques implemented and tested on these data.

研究の動機と目的

• 最小侵襲的腹腔鏡下手術における正確で頑健な外科的インストゥルメント分類の課題に対処すること。
• 標準U-Netの限界、すなわち転置畳み込みによるチェッカーボードアーチファクトと、初期重みがランダムであることによる収束の遅さを克服すること。
• 変更版エンコーダ-デコーダー構造を用いて、インストゥルメント部品およびタイプのマルチクラス分類性能を向上させること。
• 効果的なデータ拡張と事前学習特徴抽出を用いて、限られた医療動画データにおけるモデルの汎化性能と学習安定性を高めること。
• 最近傍補間と固定重みを用いることで、学習可能なデコンボリューション層と比較して分類精度が向上し、アーチファクトが減少することを示すこと。

提案手法

• U-NetPlusアーキテクチャでは、デコーダー内の転置畳み込みを最近傍（NN）補間層に置き換え、その後に2つの3x3畳み込み層を配置して特徴の精練を実施する。
• エンコーダー経路の初期化に、事前学習済みのVGG-16またはVGG-11を用いることで、収束が速くなり、より良い特徴表現が可能になる。
• トレーニングの安定化と勾配の流れの改善を図るため、エンコーダーにバッチ正規化を適用する。
• 限られたMICCAI 2017 EndoVisデータセットにおける過学習を低減し、トレーニングデータの多様性を高めるために、高速で柔軟なデータ拡張技術を採用する。
• ロボット手術動画の8×225フレームシーケンスを用いてエンドツーエンドでモデルを学習し、推論は8×75および2×300フレームシーケンスで実施する。
• 分類時にモデルが注目する領域を可視化するためのクラスアクティベーションマッピング（CAM）を用いた注目度分析により、特にグリップ部やクランプ部などインストゥルメント部品の局所化が向上していることが示された。

実験結果

リサーチクエスチョン

• RQ1 転置畳み込みを最近傍補間へ置き換えることで、外科的インストゥルメント分類におけるチェッカーボードアーチファクトが低減され、分類品質が向上するか？
• RQ2 事前学習済みVGGエンコーダーを用いることで、限られた手術動画データにおいて収束速度と分類精度が顕著に向上するか？
• RQ3 最近傍補間と事前学習エンコーダーの組み合わせが、インストゥルメント部品およびタイプのマルチクラス分類性能にどのように影響するか？
• RQ4 高速なデータ拡張戦略は、手術動画データセットに一般的に見られる低データ環境における過学習を効果的に緩和できるか？
• RQ5 提案されたアーキテクチャは、標準U-NetやTernausNetと比較して、重要なインストゥルメント部品における注目度局所化をより良く実現できるか？

主な発見

• U-NetPlusは、二値分類における外科的インストゥルメント分類で90.20%のDICEスコアを達成し、先行研究と比較して0.21%の向上を示し、オリジナルのU-Netと比較して6%以上の向上を示した。
• インストゥルメント部品分類（シャフト、ワrist、クランプ）において、U-NetPlusは76.26%のDICEスコアを達成し、3つのクラスすべてで一貫した改善が確認された。
• U-NetPlus-VGG-11バージョンは、インストゥルメントタイプ分類において46.07%のDICEスコアを達成し、U-NetPlus-VGG-16を上回った。これは、モデルアーキテクチャがクラスの複雑さに敏感であることを示唆している。
• 定性的な結果から、U-NetPlusはU-Net、U-Net+NN、TernausNetと比較して、よりクリアで正確なセグメンテーションを生成し、誤検出が少ないことが確認された。
• 注目度可視化により、U-NetPlusはワrist部やクランプ部などインストゥルメント部品に対してより正確に注目していることが確認された。一方、ベースラインモデルは広範囲または不正確な注目度を示していた。
• 最近傍補間の使用により、転置畳み込みに伴う一般的なチェッカーボードアーチファクトが完全に解消され、視覚的および定量的分類品質の向上に寄与した。