[論文レビュー] PCA-aided Fully Convolutional Networks for Semantic Segmentation of Multi-channel fMRI

Lei Tai, Ye, Haoyang+2 more|arXiv (Cornell University)|Oct 6, 2016

Brain Tumor Detection and Classification参考文献 15被引用数 4

ひとこと要約

本稿では、31チャンネルの多チャンネルfMRIデータをPCAを用いて3つの主要成分に低次元化し、その後に微調整された完全畳み込みネットワーク（FCN）を用いた画素単位の意味的セグメンテーションを提案する。この手法は、リアルタイムの推論（1スキャンあたり90 ms）を達成し、特に境界が曖昧な組織同士の境界領域を学習から除外する新規な「Ignore-Bound」ラベリング戦略により、k-NNなどの従来手法を上回る性能を発揮する。

ABSTRACT

Semantic segmentation of functional magnetic resonance imaging (fMRI) makes great sense for pathology diagnosis and decision system of medical robots. The multi-channel fMRI provides more information of the pathological features. But the increased amount of data causes complexity in feature detections. This paper proposes a principal component analysis (PCA)-aided fully convolutional network to particularly deal with multi-channel fMRI. We transfer the learned weights of contemporary classification networks to the segmentation task by fine-tuning. The results of the convolutional network are compared with various methods e.g. k-NN. A new labeling strategy is proposed to solve the semantic segmentation problem with unclear boundaries. Even with a small-sized training dataset, the test results demonstrate that our model outperforms other pathological feature detection methods. Besides, its forward inference only takes 90 milliseconds for a single set of fMRI data. To our knowledge, this is the first time to realize pixel-wise labeling of multi-channel magnetic resonance image using FCN.

研究の動機と目的

• 高次元的で複雑なデータを特徴とする多チャンネルfMRIにおける意味的セグメンテーションの課題に対処すること。
• fMRIセグメンテーションにおける小規模なトレーニングデータセットと明確でない組織境界の制限を克服すること。
• 臨床応用（病理診断など）に向けたリアルタイムでエンドツーエンドの画素単位分類を可能にすること。
• ラベリングの複雑さを軽減することで、主な組織（特に骨および脳脊髄液）のセグメンテーション精度を向上させること。
• トランスファーラーニングと次元削減（PCA）が医療画像セグメンテーションタスクにおいて有効であることを示すこと。

提案手法

• 31チャンネルのfMRIデータを主成分分析（PCA）を用いて3つの主要成分に低次元化し、病理的特徴を保持しながら次元を削減する。
• 小規模でラベル付け済みのfMRIデータセット上で、事前学習済みの完全畳み込みネットワーク（FCN）を微調整することで、分類重みをセグメンテーションタスクに適応させる。
• 組織同士の接合部領域を学習から除外する新規な「Ignore-Bound」ラベリング戦略を導入し、ラベリングの曖昧さと複雑さを低減する。
• 標準的な意味的セグメンテーション評価指標（平均交差率（mIoU）、頻度加重IoU（fwIoU）、ピクセル精度、平均精度）を用いて評価する。
• バックプロパゲーションと勾配降下法を用いたエンドツーエンドの学習を実装し、主な組織クラスのセグメンテーション損失を最適化する。
• 1スキャンあたり90ミリ秒という近似リアルタイムの推論を実現し、従来の画素単位の走査方式（1.4秒/スキャン）と比較して15倍の高速化を達成する。

実験結果

リサーチクエスチョン

• RQ1 PCAは、組織セグメンテーションに必要な特徴を保持しつつ、多チャンネルfMRIデータの次元を効果的に低次元化できるか？
• RQ2 事前学習済み分類ネットワークからのトランスファーラーニングは、小規模なfMRIデータセットにおける意味的セグメンテーション性能を向上させるか？
• RQ3 曖昧な接合部領域を無視するように変更されたラベリング戦略は、セグメンテーション精度と収束速度を向上させるか？
• RQ4 提案手法（PCAとトランスファーラーニングを組み合わせたFCN）は、k-NNなどの従来手法と比較して、mIoUと推論速度の両面で優れているか？
• RQ5 収束に最適なトレーニング期間は何か？また、「Ignore-Bound」戦略は標準的な境界ベースラベリングに比べて収束が速いか？

主な発見

• 提案されたPCA支援FCNは、Fully-BP戦略を用いて30,000イテレーション後に平均IoU 81.7%、頻度加重IoU 75.1%を達成し、k-NN（mIoU: 44.5%）を著しく上回った。
• 「Ignore-Bound」ラベリング戦略は、約10,000イテレーションで最高の性能を示し、5つの主な組織について平均IoU 84.0%、頻度加重IoU 87.1%を達成した。
• モデルは1スキャンあたり90ミリ秒というリアルタイム推論を達成し、従来手法（1.4秒/スキャン）と比較して15倍の高速化を実現した。
• 「Ignore-Bound」戦略は、背景を除くすべての主な組織の精度を向上させたが、過剰に組織領域を予測するため、やや偽陽性が増加した。
• 混同行列の結果、骨組織は境界が不明瞭なため最も困難な分類対象であり、特にFully-BP戦略では誤分類率が高かった。
• 15,000イテレーション後には、セグメンテーション結果が正解に極めて近づき、30,000イテレーション以降はさらなる改善がほとんど観察されなかった。