[論文レビュー] GAN-enhanced Conditional Echocardiogram Generation

Amir H. Abdi, Teresa S.M. Tsang+1 more|arXiv (Cornell University)|Nov 5, 2019

Generative Adversarial Networks and Image Synthesis参考文献 7被引用数 6

ひとこと要約

本稿では、心筋、左室および心房の心臓構造のセグメンテーションマスクから、高精細な心尖四心腔切断エコーカードグラムフレームを生成する条件付きパッチベース GAN を提案する。CAMUS データセットを用いて、UNet に類似したジェネレータとパッチベースの L2 対抗的ディスクライマを用いて、決定論的マッピングを学習し、入力マスクと整合する現実的なエコー合成を実現した。この手法により、半教師あり学習の応用が可能となった。

ABSTRACT

Echocardiography (echo) is a common means of evaluating cardiac conditions. Due to the label scarcity, semi-supervised paradigms in automated echo analysis are getting traction. One of the most sought-after problems in echo is the segmentation of cardiac structures (e.g. chambers). Accordingly, we propose an echocardiogram generation approach using generative adversarial networks with a conditional patch-based discriminator. In this work, we validate the feasibility of GAN-enhanced echo generation with different conditions (segmentation masks), namely, the left ventricle, ventricular myocardium, and atrium. Results show that the proposed adversarial algorithm can generate high-quality echo frames whose cardiac structures match the given segmentation masks. This method is expected to facilitate the training of other machine learning models in a semi-supervised fashion as suggested in similar researches.

研究の動機と目的

• エコーカードグラム解析におけるラベル不足を解消するため、心臓構造のセグメンテーションマスクから現実的なエコー フレームを生成すること。
• 合成されたトレーニングデータを用いて、心臓画像セグメンテーションにおける半教師あり学習を改善すること。
• 条件付き GAN を用いた対抗的画像生成の心エコーカードグラフィーへの実現可能性を検証すること。
• ノイズを含まない決定論的画像生成を実現し、ペアドされた実際のデータを活用すること。

提案手法

• セグメンテーションマスクからエコー フレームを合成するために、UNet に類似したジェネレータとパッチベースのディスクライマを備えた条件付きパッチベース GAN を使用する。
• 訓練の安定化とバイナリクロスエントロピーに比べて忠実度の向上を図るため、対抗的項に最小二乗誤差 (LSE) 損失を採用する。
• 生成されたフレームと実際のエコー フレームとの間のピクセル単位の平均絶対誤差を用いて再構成損失を適用する。
• 学習率がそれぞれ 0.00013 と 0.00015 の Adam 最適化アルゴリズムを用いて、ジェネレータとディスクライマをエンドツーエンドで訓練する。
• 局所的な現実性を強化し、画像パッチをマルコフ確率場としてモデル化するために、16×16 パッチベースの識別を採用する。
• ジェネレータをセグメンテーションマスク（0: 背景、1: 左室、2: 心筋、3: 心房）で条件づけ、構造別画像生成を支援する。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーションマスクから、条件付き GAN が現実的な心尖四心腔切断エコーカードグラムフレームを生成できるか？
• RQ2 最小二乗損失を用いたパッチベースのディスクライマを採用することで、従来の GAN と比較して生成されたエコー フレームの品質と現実性が向上するか？
• RQ3 再トレーニングなしに、複数の心臓構造の組み合わせ（例：左室＋心筋、左室＋心房、すべての3つ）に対しても汎用性を示せるか？
• RQ4 ノイズを含まない決定論的トレーニング枠組みは、構造の忠実度を保持し、モード崩壊を回避する程度はどの程度か？
• RQ5 生成されたフレームが、入力セグメンテーションマスクに指定された解剖学的構造とどの程度整合しているか？

主な発見

• 提案手法は、5つのテスト条件すべてにおいて、入力セグメンテーションマスクと視覚的に整合する高品質な心尖四心腔エコー フレームを効果的に生成した。
• 左室のみ、左室＋心筋、左室＋心房、すべての3つを含む、異なる心臓構造の組み合わせでトレーニングされたモデルは、生成されたフレームにおいて一貫性があり、解剖学的に妥当な心臓構造を再現した。
• 出力に確率的変動が認められなかったことから、ジェネレータがセグメンテーションマスクからエコー フレームへの決定論的マッピングを学習していることが裏付けられた。
• 生成されたフレームは、実際のエコー画像と同様に現実的なテクスチャとコントラストを示し、特に左室領域で顕著に類似していた。
• 現実的な合成エコー フレームを用いたデータ拡張により、半教師あり学習の実現可能性が示された。
• 定量的指標が不足しているものの、定性的な評価により、生成画像が構造的整合性を保持しており、臨床的および教育的応用において視覚的に妥当であることが確認された。