[論文レビュー] Remove Appearance Shift for Ultrasound Image Segmentation via Fast and Universal Style Transfer

Zhendong Liu, Xin Yang+10 more|arXiv (Cornell University)|Feb 14, 2020

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 5

ひとこと要約

本稿では、ウェーブレット補正トランスファーと適応的インスタンス正規化（AdaIN）を活用することで、超音波画像の外観シフトを除去する高速で安定的かつ汎用的なスタイル変換フレームワーク、WaveCT-AIN-Dを提案する。このフレームワークにより、リアルタイムかつ高忠実度のスタイル変換が可能となり、耐障害性の高いセグメンテーションが実現される。本手法は、胎児頭部と胎児腹部の超音波データセットで、それぞれ94.05%と97.31%のDiceスコアを達成し、精度、速度、視覚的品質の面で先行手法を上回り、1枚あたり0.11秒のリアルタイム推論を維持している。

ABSTRACT

Deep Neural Networks (DNNs) suffer from the performance degradation when image appearance shift occurs, especially in ultrasound (US) image segmentation. In this paper, we propose a novel and intuitive framework to remove the appearance shift, and hence improve the generalization ability of DNNs. Our work has three highlights. First, we follow the spirit of universal style transfer to remove appearance shifts, which was not explored before for US images. Without sacrificing image structure details, it enables the arbitrary style-content transfer. Second, accelerated with Adaptive Instance Normalization block, our framework achieved real-time speed required in the clinical US scanning. Third, an efficient and effective style image selection strategy is proposed to ensure the target-style US image and testing content US image properly match each other. Experiments on two large US datasets demonstrate that our methods are superior to state-of-the-art methods on making DNNs robust against various appearance shifts.

研究の動機と目的

• TGC、プローブ設定、機器の違いによって引き起こされる予測不能な外観シフトが、超音波画像セグメンテーションにおけるディープニューラルネットワークの性能を低下させることを是正する。
• 構造的詳細を保持しながら、超音波画像の外観シフトを除去する、高速で安定的かつ汎用的なスタイル変換手法を開発すること。
• 精度や安定性を損なわず、スタイル変換を高速化することで、臨床現場でのリアルタイム推論を可能にすること。
• 最適なスタイル・コンテンツマッチングを保証する、効果的なスタイル画像選択戦略を設計すること。
• ターゲットドメインのアノテーションを必要とせず、多様な超音波画像撮影条件における一般化性能を向上させること。

提案手法

• フレームワークは、ハールウェーブレットプーリングと適応的インスタンス正規化（AdaIN）を用いた軽量なスタイル変換ネットワーク「WaveCT-AIN」を統合しており、高速で高忠実度のスタイル変換を実現する。
• 階層的なエンコーダ・デコーダアーキテクチャを採用し、参照スタイル画像からマルチスケールのスタイル特徴を抽出し、スタイルモジュレーションブロックを介してコンテンツ画像へと転送する。
• ハールウェーブレットプーリングの採用により、最小限の構造的損失で正確な再構成が可能となり、標準的なマックスプーリングと比較して微細なディテールをより良く保持する。
• 独創的なスタイル選択モジュールは、コンテンツ・スタイルの適合性に基づいて、ソースドメインライブラリから最も適切なスタイル画像を取得し、安定的かつ最適化された転送を実現する。
• エンドツーエンドで学習可能であり、任意のセグメンテーションバックボーンと互換性がある。AdaIN加速を用いることで、推論時間を0.07秒に短縮した。
• 任意のスタイル・コンテンツ転送をサポートしており、予測不能な外観シフトが生じるオープンドメインの臨床状況に適している。

実験結果

リサーチクエスチョン

• RQ1 ターゲットドメインのアノテーションを必要とせず、超音波画像セグメンテーションにおける外観シフトを効果的に低減できる汎用的スタイル変換が可能か？
• RQ2 画像構造やディテールを保持したまま、リアルタイム臨床スキャン要件を満たすために、スタイル変換をどのように高速化できるか？
• RQ3 スタイル画像選択の影響は、スタイル化されたセグメンテーション結果の安定性と性能にどのように現れるか？
• RQ4 提案手法であるWaveCT-AIN-Dは、最先端のドメイン適応およびスタイル変換手法と比較して、セグメンテーション精度と推論速度の面で優れているか？
• RQ5 本フレームワークは、微調整を必要とせず、TGC設定の変動など多様な超音波画像撮影条件に対しても一般化可能か？

主な発見

• WaveCT-AIN-Dは、胎児頭部（FH）データセットで94.05%、胎児腹部（FA）データセットで97.31%の最高Diceスコアを達成し、ベースライン手法を顕著に上回った。
• FHでは7.54ピクセル、FAでは8.32ピクセルのハウスドルフ距離境界（Hdb）を低下させ、セグメンテーション境界の正確性が優れていることを示した。
• 1枚あたり0.11秒の実行時間であり、WCT 2の60倍、STROTSSの180倍も高速で、リアルタイム臨床要件を満たしている。
• スタイル化出力の構造的類似性（SSIM）は、FHで79.81%、FAで78.55%に達し、高い視覚的忠実度と安定性を示した。
• 提案されたスタイル選択戦略により、固定スタイル変換と比較してDiceスコアが2.5–3.5%向上し、コンテンツとスタイルのマッチング効果が確認された。
• FHで30.63、FAで28.23のPSNR値は、最小限の歪みを伴う高品質なスタイル化画像を示しており、GANベースや反復的手法を上回った。