[論文レビュー] OR-UNet: an Optimized Robust Residual U-Net for Instrument Segmentation in Endoscopic Images

Fabian Isensee, Klaus Maier‐Hein|arXiv (Cornell University)|Apr 27, 2020

Colorectal Cancer Screening and Detection参考文献 6被引用数 17

ひとこと要約

本論文では、ImageNetの事前学習や時系列データを一切使用せずに、Robust-MIS 2019データセットからスクラッチで学習した2次元U-NetであるOR-UNetを提案する。5983枚の内視鏡画像において8分割交差検証で平均Diceスコア87.41（中央値94.35）を達成し、手術用器具のセグメンテーションにおいて強力な性能を示した。

ABSTRACT

Segmentation of endoscopic images is an essential processing step for computer and robotics-assisted interventions. The Robust-MIS challenge provides the largest dataset of annotated endoscopic images to date, with 5983 manually annotated images. Here we describe OR-UNet, our optimized robust residual 2D U-Net for endoscopic image segmentation. As the name implies, the network makes use of residual connections in the encoder. It is trained with the sum of Dice and cross-entropy loss and deep supervision. During training, extensive data augmentation is used to increase the robustness. In an 8-fold cross-validation on the training images, our model achieved a mean (median) Dice score of 87.41 (94.35). We use the eight models from the cross-validation as an ensemble on the test set.

研究の動機と目的

• Robust-MIS 2019データセットのみを用いて、内視鏡画像における手術用器具のセグメンテーションのための頑健で正確なモデルを開発すること。
• ImageNetで事前学習されたエンコーダーを用いるモデルと比較して、大規模でドメイン特化したデータセットからスクラッチで学習することの性能が、優れているか、同等であるかを評価すること。
• 深層監視と広範なデータ拡張を用いて、勾配の流れと一般化性能を向上させること。
• 連結成分解析を用いた単純な後処理によって、バイナリセグメンテーション出力を検出およびインスタンスセグメンテーションのベースラインとして効果的に再利用できるかを評価すること。

提案手法

• エンコーダーにリーマンブロックを、デコーダーに標準的な畳み込み層を用いた2次元U-Netアーキテクチャを採用し、特徴マップのチャネル数は48から512に段階的に増加する。
• リーマンブロックは元の定式化に従い、各畳み込み層の後にバッチ正規化とReLUを適用する。
• 複数のデコーダー解像度でセグメンテーション予測を生成することで、深層監視を実装する。各解像度に対応する損失関数を設定する。
• 最高解像度では、ソフトDice損失と交差エントロピー損失の合計を損失関数として用いる。低解像度の予測には、ソフトマスクを用いた適応型Dice損失と平均二乗誤差損失を適用する。
• 耐性を高めるために広範なデータ拡張を適用し、すべてのモデルはImageNetの事前学習を一切使用せず、ランダム初期化から学習を開始する。
• 検出およびインスタンスセグメンテーションタスクのため、バイナリセグメンテーション出力に対して連結成分解析を適用し、前景オブジェクトに一意のIDを割り当てる。

実験結果

リサーチクエスチョン

• RQ1 リーマン接続と深層監視を備えたU-Netは、ImageNet事前学習重みを一切使用せずに、内視鏡画像における器具セグメンテーションで高い性能を達成できるか？
• RQ2 大規模でドメイン特化したデータセットからスクラッチで学習する場合と、事前学習エンコーダーを用いる場合とを比較した場合、セグメンテーション精度にどのような差が生じるか？
• RQ3 深層監視とデータ拡張は、内視鏡画像向けセグメンテーションネットワークの耐性と勾配の流れにどの程度寄与するか？
• RQ4 単純な後処理（連結成分解析）を用いて、バイナリセグメンテーションの結果を検出およびインスタンスセグメンテーションタスクに効果的に再利用できるか？
• RQ5 直前の動画フレームからの時系列情報を組み込むことで、この設定におけるセグメンテーション性能が向上するか？

主な発見

• トレーニングセットにおける8分割交差検証で、平均Diceスコアは87.41（中央値94.35）を達成した。中央値が94.35であることから、大多数の画像で優れた性能を示していることがわかる。
• Diceスコアの分布には、0に近いスコアを示す画像が多数存在し、主に誤検出や漏れ検出に起因しており、これが平均スコアを著しく引き下げていた。
• 中央値の94.35という数値は、特に明著に可視化された器具を有する画像において、モデルが非常に優れた性能を発揮していることを示している。
• テストセットにおけるモデルの性能は、トレーニングの交差検証スコアよりも高いと予想される。これは、テスト評価では正例が存在しない画像が除外されるためである。
• 入力チャネルに複数フレームをスタックして時系列データを用いた実験では、性能向上が見られなかった。これは、現在のモデルが単一のクエリ画像に依存するのでも十分であることを示唆している。
• バイナリ予測に対して連結成分解析を適用した結果、特に器具が重なっている頻度が低いことから、検出およびインスタンスセグメンテーションタスクの有効なベースラインが得られた。