[論文レビュー] Conditional Random Fields as Recurrent Neural Networks for 3D Medical Imaging Segmentation

Miguel Monteiro, Mário A. T. Figueiredo+1 more|arXiv (Cornell University)|Jul 19, 2018

Advanced Neural Network Applications参考文献 4被引用数 16

ひとこと要約

本稿は、3次元マルチモodal医療画像分類における条件付きランダムフィールドを再帰的ニューラルネットワーク（CRF-RNN）として応用する手法の評価を行った。任意の次元数およびチャネル数に対応する実装が行われた。2次元RGB画像では正しく実装されていることが確認されたが、2つの3次元医療画像データセットにおいて、ベースラインのFCNNと比較して統計的に有意な向上が得られなかった。その理由は、低コントラスト、ぼやけたエッジ、医療画像における高パラメータ感度に起因するとされた。

ABSTRACT

The Conditional Random Field as a Recurrent Neural Network layer is a recently proposed algorithm meant to be placed on top of an existing Fully-Convolutional Neural Network to improve the quality of semantic segmentation. In this paper, we test whether this algorithm, which was shown to improve semantic segmentation for 2D RGB images, is able to improve segmentation quality for 3D multi-modal medical images. We developed an implementation of the algorithm which works for any number of spatial dimensions, input/output image channels, and reference image channels. As far as we know this is the first publicly available implementation of this sort. We tested the algorithm with two distinct 3D medical imaging datasets, we concluded that the performance differences observed were not statistically significant. Finally, in the discussion section of the paper, we go into the reasons as to why this technique transfers poorly from natural images to medical images.

研究の動機と目的

• 2次元自然画像分類で有効なCRF-RNNが、3次元医療画像分類においても向上をもたらすかどうかを評価すること。
• 任意の空間次元数および画像チャネル数に対応可能な、最初の公開可能で汎用的なCRF-RNN実装の開発およびリリースすること。
• 2次元RGB画像から3次元マルチモーダル医療画像へのCRF-RNNの転移がうまくいかない理由を調査すること。
• PROMISE 2012（前立腺MRI）およびBraTS 2015（脳腫瘍MRI）という2つの異なる3次元医療画像データセットにおけるCRF-RNNの影響を評価すること。

提案手法

• 元々2次元画像を想定して設計されたCRF-RNNフレームワークを、3次元医療画像と互換性のある微分可能でエンドツーエンド学習可能なRNN層に変換すること。
• 空間的および強度ベースの特徴量を用いた完全結合CRFを実装し、単一および二重の潜在変数を含む。これには外観および滑らかさのカーネルが含まれる。
• バックボーンネットワークとしてV-NetベースのFCNNを採用し、CRF-RNNを後処理のための精錬層として適用すること。
• Mean-field近似を再定式化してRNNとして再構成することで、CRF-RNN層を逆誤差伝搬可能にし、エンドツーエンドで学習可能にすること。
• 空間的位置と画像強度を組み合わせた特徴ベクトルにガウスカーネルを適用し、学習可能な重みおよびハイパーパrameterを用いる。
• 2次元RGB画像を用いて実装の正しさを確認した後、3次元医療データに対してテストを実施すること。

実験結果

リサーチクエスチョン

• RQ1 CRF-RNN層は、ベースラインのFCNNと比較して、3次元マルチモーダル医療画像分類の精度を向上させるか？
• RQ2 CRF-RNNフレームワークは、任意の空間次元数および入出力チャネル数を想定した3次元医療画像処理に効果的に一般化可能か？
• RQ3 2次元自然画像では良好に機能するCRF-RNNが、なぜ3次元医療画像では性能向上を示さないのか？
• RQ4 低コントラストでエッジがぼやけた医療画像環境下で、CRF-RNNの性能はハイパーパrameterに非常に敏感であるか？
• RQ5 3次元医療画像において、ノイズが多いまたは粗いFCNN出力からの回復は、CRF-RNN層によってどの程度達成可能か？

主な発見

• PROMISE 2012データセットでは、CRFを適用した場合の全腫瘍Diceスコアは0.738 ± 0.105（CRFなし：0.735 ± 0.105）であり、統計的に有意な向上は認められなかった。
• BraTS 2015 HGGデータセットでは、コア腫瘍のDiceスコアはCRFなしで0.488 ± 0.244、CRFありで0.482 ± 0.257であり、向上は顕著ではなかった。
• 対応t検定により、両データセットにおいてCRF-RNNとベースラインFCNNとの間で性能差は統計的に有意でなかった。
• 過学習実験において、CRF-RNN層は3次元医療画像のノイズ低減に成功しており、正しく機能していることが裏付けられた。
• 2次元RGB画像とは異なり、3次元医療画像では視覚的特徴の過学習が効果的に実現できず、低コントラスト環境下での固有の制限が示唆された。
• 著者らは、転移性能の低さを、3次元医療画像における低コントラスト、ぼやけたエッジ、およびハイパーパrameterへの高い感受性に起因すると説明している。