[論文レビュー] An Asymetric Cycle-Consistency Loss for Dealing with Many-to-One Mappings in Image Translation: A Study on Thigh MR Scans

Michael Gadermayr, Maximilian Tschuchnig+5 more|arXiv (Cornell University)|Apr 23, 2020

Generative Adversarial Networks and Image Synthesis参考文献 13被引用数 4

ひとこと要約

本論文では、脂肪浸潤筋を有する大腿MRIスキャンを対象として、医療画像における一対一でないマッピングを解決するため、非対称なサイクル整合性損失を提案する。サイクル整合性の目的関数を、複数のソース画像が1つのターゲットにマッピングされる状況に適合させるように変更することで、モデルの複雑さを増すことなく翻訳品質とセグメンテーション性能を向上させる。

ABSTRACT

Generative adversarial networks using a cycle-consistency loss facilitate unpaired training of image-translation models and thereby exhibit a very high potential in manifold medical applications. However, the fact that images in one domain potentially map to more than one image in another domain (e.g. in case of pathological changes) exhibits a major challenge for training the networks. In this work, we offer a solution to improve the training process in case of many-to-one mappings by modifying the cycle-consistency loss. We show formally and empirically that the proposed method improves the performance significantly without radically changing the architecture and without increasing the overall complexity. We evaluate our method on thigh MRI scans with the final goal of segmenting the muscle in fat-infiltrated patients' data.

研究の動機と目的

• 非ペaired画像翻訳において一般的に見られる、複数の病理的スキャンが1つの健康なリファレンスにマッピングされる『多数対一』のマッピングの課題に対処すること。
• 多様な病理的画像から1つの正常リファレンスドメインにマッピングする際の生成的敵対ネットワークにおける訓練の安定性と翻訳品質を向上させること。
• ネットワークアーキテクチャの変更なしに、医療画像翻訳タスクの性能を向上させつつ、モデルの単純さと計算効率を維持すること。
• 脂肪浸潤を示す患者における正確な筋肉セグメンテーションを目的として、大腿MRIスキャン上で本手法を評価すること。

提案手法

• 本手法は、複数の画像が1つの画像にマッピングされる状況を扱えるように、標準のサイクル整合性目的関数を変更した非対称なサイクル整合性損失を導入する。
• 再構成における対称性を強制するのではなく、多数対一のマッピングが生じる方向を優先することで、翻訳プロセスにおける曖昧さを低減する。
• マッピングの曖昧さの確率に基づいてサイクル整合性項を再重み付けすることで、より信頼性の高い再構成経路を優遇する損失関数を導出する。
• ネットワークアーキテクチャを変更せず、計算オーバーヘッドを増加させることなく、GANベースの画像翻訳フレームワークに本手法を統合する。
• 脂肪浸潤筋画像をリファレンスとしての健康状態に翻訳することを目的として、非ペアの大腿MRIスキャン上でエンドツーエンドに訓練する。

実験結果

リサーチクエスチョン

• RQ1 非対称なサイクル整合性損失は、医療画像における多数対一のマッピングが生じる状況で、画像翻訳の性能をどのように向上させるか？
• RQ2 提案された損失は、アーキテクチャの変更なしに、脂肪浸潤MRIスキャンにおける筋肉のセグメンテーション精度を向上させることができるか？
• RQ3 標準の対称的サイクル整合性損失と比較して、病理的画像から健康画像への曖昧なマッピングを処理する際に、非対称損失はどのように優れているか？
• RQ4 対称的サイクル整合性を用いたベースラインGANと比較して、本手法は訓練の安定性と収束速度を維持しているか？

主な発見

• 提案された非対称なサイクル整合性損失は、脂肪浸潤筋を有する大腿MRIスキャンにおいて、画像翻訳の品質を顕著に向上させる。
• 標準のサイクル整合性学習と比較して、脂肪浸潤を示す患者における筋肉領域のセグメンテーション性能が向上する。
• ネットワークアーキテクチャの変更なしに、計算複雑性を増加させることなく、この改善が達成されている。
• 実験的結果から、曖昧なマッピング状況において再構成誤差が低減され、より現実的な翻訳が得られていることが示された。