[論文レビュー] UI-Net: Interactive Artificial Neural Networks for Iterative Image Segmentation Based on a User Model

Mario Amrehn, Sven Gaube+7 more|arXiv (Cornell University)|Jan 1, 2017

Advanced Neural Network Applications参考文献 13被引用数 12

ひとこと要約

本稿では、ユーザーが提供するスケッチを動的入力として統合する深層学習フレームワーク、UI-Netを提案する。これは、完全畳み込みニューラルネットワーク（FCN）に統合され、反復的医療画像セグメンテーションを実行する。ルールベースのユーザーモデルを用いて、現実的なユーザーインタラクションを模倣する訓練により、UI-Netは非インタラクティブなFCNおよびインタラクティブなGrowCutと比較して、特に介入的画像診断で一般的な低データ環境において、6%高いDiceスコアを達成する。

ABSTRACT

For complex segmentation tasks, fully automatic systems are inherently limited in their achievable accuracy for extracting relevant objects. Especially in cases where only few data sets need to be processed for a highly accurate result, semi-automatic segmentation techniques exhibit a clear benefit for the user. One area of application is medical image processing during an intervention for a single patient.We propose a learning-based cooperative segmentation approach which includes the computing entity as well as the user into the task. Our system builds upon a state-of-the-art fully convolutional artificial neural network (FCN) as well as an active user model for training. During the segmentation process, a user of the trained system can iteratively add additional hints in form of pictorial scribbles as seed points into the FCN system to achieve an interactive and precise segmentation result. The segmentation quality of interactive FCNs is evaluated. Iterative FCN approaches can yield superior results compared to networks without the user input channel component, due to a consistent improvement in segmentation quality after each interaction.

研究の動機と目的

• 複雑な医療画像診断タスクにおける完全自動セグメンテーションの限界、特にまれまたは多様性の高い病変に対して解決を図ること。
• TACE中の肝腫瘍セグメンテーションなど、アノテーションデータが限られた状況でのセグメンテーション精度を向上させること。
• エキスパートのユーザー入力を効率的に活用するインタラクティブで反復的な改善を可能にする、セミオートマチックなシステムの開発。
• セグメンテーション中に現実的な人間のインタラクションを模倣するルールベースのユーザー モデルを用いて、深層ニューラルネットワークをトレーニングすること。

提案手法

• 完全畳み込みニューラルネットワーク（FCN）に、前景および背景領域を表すユーザー提供のスケッチ（シードポイント）を入力する追加の入力ブランチを拡張する。
• ルールベースのアクティブユーザー モデルが、現在のセグメンテーション誤差に基づいて妥当なシードポイントを生成することで、トレーニング中に現実的なユーザー行動をシミュレートする。
• ネットワークは、真値セグメンテーションとシミュレートされたユーザー入力を組み合わせた損失関数を用いてエンドツーエンドでトレーニングされ、インタラクティブフィードバックから学習できるようにする。
• トレーニングプロセスでは、各イテレーション後に新しいシードポイントを生成する動的ユーザー モデルが使用され、リアルタイムのユーザー補正をシミュレートする。
• U-Netに類似たエンコーダ-デコーダ構造にスキップ接続を組み合わせ、画像入力およびシードマスク入力の両方を受け入れるアーキテクチャを採用する。
• 転移学習を代替トレーニング戦略として検討し、事前トレーニング済みのFCNを特徴抽出器として用い、ユーザー入力を用いて微調整された第二のFCNをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 推論時にインタラクティブなユーザーのスケッチを統合できるように、深層ニューラルネットワークをトレーニングできるか。これは、静的トレーニングを超えてセグメンテーション精度を向上させるか。
• RQ2 シミュレートされたユーザー モデルを用いたトレーニングが、反復的セグメンテーションタスクにおけるFCNのパフォーマンスに与える影響は何か。
• RQ3 反復的ユーザー入力がセグメンテーション品質に与える影響は何か。また、イテレーションごとに一貫した改善が得られるか。
• RQ4 ルールベースのユーザー モデルは、低データ環境におけるネットワークの一般化を向上させるために、人間の行動を効果的にシミュレートできるか。
• RQ5 提案されたUI-Netは、非インタラクティブなFCNおよびインタラクティブなGrowCutと比較して、定量的にどの程度のセグメンテーション精度の向上を達成するか。

主な発見

• アクティブユーザー モデルを用いてトレーニングしたUI-Netは、非インタラクティブなFCNおよびインタラクティブなGrowCutベースラインと比較して、平均で6%高いDiceスコアを達成した。
• 追加のユーザーインタラクションごとに、一貫した測定可能なセグメンテーション品質の向上が確認され、反復的フィードバックの価値が示された。
• 初期のシードポイント数がセグメンテーションパフォーマンスに顕著な影響を与え、シードポイント数が多いほどより良い結果が得られた。
• インタラクティブ版のUI-Netは、強度の重複や壊死領域を有する複雑な症例において、静的および非インタラクティブなベースラインを上回った。
• シミュレートされたユーザー モデルを用いたトレーニングにより、ネットワークは実際のユーザーインタラクションに一般化しやすくなり、大量の手動アノテーションの必要性が低減された。
• 本手法は特に、アノテーション済み症例が僅かしかない低データ環境において顕著に有効であり、臨床的介入的ワークフローに適している。