[論文レビュー] Interactive segmentation of medical images through fully convolutional neural networks

Tomas Sakinis, Fausto Milletarì+8 more|arXiv (Cornell University)|Mar 19, 2019

Radiomics and Machine Learning in Medical Imaging参考文献 29被引用数 60

ひとこと要約

深層学習ベースの半自動セグメンテーション手法は、ユーザーのクリックに guided by ?? 使われる fully convolutional network を用い、CT画像の医療構造を迅速に境界付ける。見たことのない臓器へ強い一般化能力を持ち、対話的フィードバックによる効率的な改良を実現。

ABSTRACT

Image segmentation plays an essential role in medicine for both diagnostic and interventional tasks. Segmentation approaches are either manual, semi-automated or fully-automated. Manual segmentation offers full control over the quality of the results, but is tedious, time consuming and prone to operator bias. Fully automated methods require no human effort, but often deliver sub-optimal results without providing users with the means to make corrections. Semi-automated approaches keep users in control of the results by providing means for interaction, but the main challenge is to offer a good trade-off between precision and required interaction. In this paper we present a deep learning (DL) based semi-automated segmentation approach that aims to be a "smart" interactive tool for region of interest delineation in medical images. We demonstrate its use for segmenting multiple organs on computed tomography (CT) of the abdomen. Our approach solves some of the most pressing clinical challenges: (i) it requires only one to a few user clicks to deliver excellent 2D segmentations in a fast and reliable fashion; (ii) it can generalize to previously unseen structures and "corner cases"; (iii) it delivers results that can be corrected quickly in a smart and intuitive way up to an arbitrary degree of precision chosen by the user and (iv) ensures high accuracy. We present our approach and compare it to other techniques and previous work to show the advantages brought by our method.

研究の動機と目的

• medicine のインタラクティブなセグメンテーションの必要性を、精度と要求されるユーザー労力のバランスの観点から動機づける。
• 最小限のユーザー入力（クリック）で領域オブ関心（ROI）を delineate する CNN ベースの半自動セグメンテーションフレームワークを提案する。
• 追加のクリックによる反復的な訂正を通じて高速な初期セグメンテーションを実現し、高い精度と未知構造への一般化を維持する。
• CT腹部データセットでの有効性を示し、完全自動法および従来のインタラクティブアプローチと比較する。

提案手法

• 単一のROIをバイナリセグメンテーション用に訓練された完全畳み込みエンコーダ-デコーダネットワークを使用する。
• foreground および background クリックから導出されるユーザーガイダンス信号を入力に追加し、三チャネルの2D入力（画像、前景ガイダンス、背景ガイダンス）を形成する。
• クリックをガウシアンフィルタリングによる滑らかなガイダンスマップへ変換し、[0,1] に正規化して画像と結合しネットワーク入力とする。
• データのバッチ全体で Dice 損失を最適化し、 FP/FN を訂正するようユーザーがクリックを追加することを模した反復的なシミュレーション対話戦略で訓練する。
• disparity maps と Chamfer distance fields を用いてクリック位置をエラー領域へ偏らせるオフラインのユーザー対話をシミュレートする。
• 4 つのダウンサンプリングブロック、ボトルネック、4 つのアップサンプリングブロックを備えた 2D FCNN を採用する；標準の conv–BN–ReLU ブロックと全解像度出力のための転置畳み込み。
• CT腹部データで訓練；交差検証、既知構造（MSD 脾臓）、未知構造（MSD 結腸癌）で評価し、Dice、Hausdorff距離、平均絶対距離を測定する。

実験結果

リサーチクエスチョン

• RQ1 CNNベースのインタラクティブフレームワークは、最小限のユーザー入力（1クリック程度）で正確なセグメンテーションを提供できるか。
• RQ2 訓練時とテスト時のユーザー対話量がセグメンテーションの精度と安定性にどのように影響するか。
• RQ3 訓練中に見られない構造（known vs. unknown regions）へどれだけ一般化するか。
• RQ4 提案したインタラクティブアプローチは標準ベンチマーク（BCV, MSD）で完全自動法と比較してどの程度優れているか。

主な発見

• ワンクリックによる初期セグメンテーションは高精度で実行可能であり、追加のユーザークリックで精度が向上する。
• 未知の構造（unknown regions）へ一般化し、ユーザーの対話を許可すれば最先端の手法と競合するか、それを上回る。
• MSD 脾臓（既知領域）では、少数の対話でも結果はすでに強く、対話を増やすと改善し、既存手法に近づくか上回る。
• MSD 結腸癌（未知領域）では、対話が増えるにつれて他の先進手法より高い Dice スコアを達成する。
• BCV テストデータでは、いくつかの完全自動ベースラインを上回り、複数の指標で領域単位の性能が競合する。