[論文レビュー] Neural Style Transfer Improves 3D Cardiovascular MR Image Segmentation on Inconsistent Data

Chunwei Ma, Zhanghexuan Ji+1 more|arXiv (Cornell University)|Sep 20, 2019

Advanced Neural Network Applications参考文献 12被引用数 7

ひとこと要約

この論文では、不一致なテストデータの外観をラベル付きの訓練データに合わせるためにニューラルスタイル変換を活用する、新しい3次元心血管MR画像セグメンテーションフレームワーク、StyleSegorを提案する。これにより、セグメンテーションのロバスト性が著しく向上する。訓練画像のスタイルをテスト画像に転送し、複数の予測をアンサンブル学習で統合することで、HVSMR 2016ベンチマークにおいて全体スコアが29.91%向上し、最先端手法を上回る結果を得た。

ABSTRACT

Three-dimensional medical image segmentation is one of the most important problems in medical image analysis and plays a key role in downstream diagnosis and treatment. Recent years, deep neural networks have made groundbreaking success in medical image segmentation problem. However, due to the high variance in instrumental parameters, experimental protocols, and subject appearances, the generalization of deep learning models is often hindered by the inconsistency in medical images generated by different machines and hospitals. In this work, we present StyleSegor, an efficient and easy-to-use strategy to alleviate this inconsistency issue. Specifically, neural style transfer algorithm is applied to unlabeled data in order to minimize the differences in image properties including brightness, contrast, texture, etc. between the labeled and unlabeled data. We also apply probabilistic adjustment on the network output and integrate multiple predictions through ensemble learning. On a publicly available whole heart segmentation benchmarking dataset from MICCAI HVSMR 2016 challenge, we have demonstrated an elevated dice accuracy surpassing current state-of-the-art method and notably, an improvement of the total score by 29.91\%. StyleSegor is thus corroborated to be an accurate tool for 3D whole heart segmentation especially on highly inconsistent data, and is available at https://github.com/horsepurve/StyleSegor.

研究の動機と目的

• 異なるスキャナーや機関で生じる画像外観の不一致に起因する3次元心血管MR画像セグメンテーションにおけるドメインシフトの課題に対処すること。
• 明るさ、コントラスト、テクスチャのばらつきがある低品質または分布外のテストデータにおいて、ディープラーニングモデルの一般化性能を向上させること。
• 追加のアノテーションや複雑なドメイン適応モジュールを必要としない、効率的で即座に利用可能な手法を開発すること。
• ニューラルスタイル変換による外観正規化が、心筋のような微細構造のセグメンテーション精度を顕著に向上させることを示すこと。

提案手法

• マルチスケール特徴量と詳細を保持するため、アトラス空間的プーリング（ASPP）を備えたアトラス畳み込みニューラルネットワークをセグメンテーションバックボーンとして使用する。
• ラベルなしのテストスライスに直接ニューラルスタイル変換を適用し、コンテンツ損失とスタイル損失を用いて訓練画像のスタイルに合わせる。
• スタイル変換プロセスにより、訓練データとテストデータ間の強度分布、明るさ、コントラスト、テクスチャが一致し、ドメインシフトが軽減される。
• ネットワーク出力に対して確率的調整を施し、セグメンテーションの信頼性を高め、誤検出を低減する。
• 元の画像とスタイル変換済み画像からの複数の予測を、投票によるアンサンブル学習で統合し、ロバスト性を向上させる。
• 冠状面、 sagittal（矢状面）、軸方向の3つの異なる平面で別々にモデルを学習し、その予測結果を統合して最終的なセグメンテーションを生成する。

実験結果

リサーチクエスチョン

• RQ1 訓練データとテストデータの外観に不一致がある状況下で、ニューラルスタイル変換が3次元心血管MR画像セグメンテーションにおけるドメインシフトを効果的に低減できるか？
• RQ2 テスト画像のスタイルを訓練データに合わせることで、コントラストが低いかノイズが多いスキャンにおいてもセグメンテーション性能が向上するか？
• RQ3 元画像とスタイル変換済み画像からの予測をアンサンブル学習で統合することで、セグメンテーション精度がさらに向上し、誤検出が低減するか？
• RQ4 外観正規化としてのスタイル変換は、不一致な医療画像データにおいて、従来のデータ拡張やドメイン適応技術をどれほど上回るか？

主な発見

• StyleSegorは心筋セグメンテーションでDiceスコア0.839、血腫腔で0.937を達成し、以前の最先端手法を上回った。
• HVSMR 2016ベンチマークにおける全体スコアは、最良の先行研究比で29.91%向上し、0.304に達した。
• 心筋セグメンテーションのハウスドルフ距離は2.832 mmまで低下し、アンサンブル学習による境界局所化の向上が示された。
• スタイル変換により、テスト画像内の強度分布が正常化され、心筋信号が背景からより明確に区別可能になった。
• 元画像とスタイル変換済み画像からの予測のアンサンブルにより、誤検出が低減し、特に低品質スキャンにおいてロバスト性が向上した。
• 2次元畳み込みバックボーンでさえ、確率的調整とスタイル変換を経て、競争力のある性能を達成した。これは、外観正規化の有効性を示している。