[論文レビュー] GANBERT: Generative Adversarial Networks with Bidirectional Encoder Representations from Transformers for MRI to PET synthesis

Hoo-Chang Shin, Alvin Ihsani+5 more|arXiv (Cornell University)|Aug 10, 2020

Generative Adversarial Networks and Image Synthesis参考文献 17被引用数 11

ひとこと要約

GANBERTは、BERTのマスクされた言語モデル化と次文予測を識別器として活用する画期的なGANフレームワークを提案する。この手法により、T1強調MRIスキャンから高精細で強度に正確なPET画像を合成可能となる。MRIの強度を広い浮動小数点範囲にマッピングし、BERTを用いてマスクされたPET値を予測させることで、手動による前処理・後処理を不要とし、AV45-PET合成においてPSNRが最大57.58、SSIMが0.31に達する最先端の性能を達成した。

ABSTRACT

Synthesizing medical images, such as PET, is a challenging task due to the fact that the intensity range is much wider and denser than those in photographs and digital renderings and are often heavily biased toward zero. Above all, intensity values in PET have absolute significance, and are used to compute parameters that are reproducible across the population. Yet, usually much manual adjustment has to be made in pre-/post- processing when synthesizing PET images, because its intensity ranges can vary a lot, e.g., between -100 to 1000 in floating point values. To overcome these challenges, we adopt the Bidirectional Encoder Representations from Transformers (BERT) algorithm that has had great success in natural language processing (NLP), where wide-range floating point intensity values are represented as integers ranging between 0 to 10000 that resemble a dictionary of natural language vocabularies. BERT is then trained to predict a proportion of masked values images, where its "next sentence prediction (NSP)" acts as GAN discriminator. Our proposed approach, is able to generate PET images from MRI images in wide intensity range, with no manual adjustments in pre-/post- processing. It is a method that can scale and ready to deploy.

研究の動機と目的

• 標準的なGANでは取り扱いにくい、強度値の変動が大きく広範囲（例：-100から1000）なPET画像をMRIから合成する課題に対処すること。
• 従来の手法で一般的に必要な手動による前処理や強度範囲の調整を回避すること。
• もともと自然言語処理向けに設計されたBERTの表現力を利用し、PET画像の強度を語彙内の離散的トークンとして扱うことで、希少で歪んだ強度分布のモデリングを可能とすること。
• 敵対的学習とマスク予測、L1損失を組み合わせることで、マルチモodalなMRIからPETへの変換における画像の忠実性と構造的類似性を向上させること。
• アルツハイマー病の診断などの臨床的応用に適した、標準化取り込み比（SUVR）単位のPET画像をMRIから直接生成可能なスケーラブルで実装可能な手法を開発すること。

提案手法

• MRI強度値（0–255）をPET画像のダイナミックレンジに一致させるため、浮動小数点範囲（-100から1000）にマッピングする。
• PET画像の強度を離散的トークン（0から10^4）として表現し、BERTのマスク言語モデル化（MLM）および次文予測（NSP）の目的関数を適用可能とする。
• U-Netに類似した生成器を訓練し、MRI入力を元にPET画像を出力する。生成器の出力を、強度トークンのシーケンスとしてBERTに供給する。
• BERTのNSPタスクを敵対的識別器として使用：識別器は、生成されたPETシーケンスが実際のものか偽物かを文脈の整合性に基づいて評価する。
• 多目的損失を最適化：敵対的損失（NSP）、マスク予測損失（MLM）、L1再構成損失をハイパーパramータ（λNSP=20、λMLM=1、λL1=20）で重み付けする。
• 生成器とBERTを別々の最適化手法で訓練し、GANフレームワークを維持しつつ、歪んだ強度分布の表現をより良くするためにBERTの事前学習を活用する。

実験結果

リサーチクエスチョン

• RQ1 BERTの事前学習目的（マスク言語モデル化と次文予測）を、医療画像合成用のGANの識別器として効果的に再利用できるか？
• RQ2 ダイナミックレンジが広く歪んでいるPET画像強度を、忠実度を損なわずにBERTに類似したフレームワーク内で離散的トークンとしてモデル化できるか？
• RQ3 BERTのNSPを識別器として用い、MLMとL1損失を組み合わせることで、Pix2Pixなどの標準GANと比較してMRIからPETへの変換品質と正確性が向上するか？
• RQ4 提案手法は、手動による強度スケーリングや後処理調整を必要とせず、オリジナルのSUVR単位のPET画像を生成できるか？
• RQ5 追加のCNN識別器を含めることで、GANBERTフレームワークの性能と一般化能力にどのような影響があるか？

主な発見

• GANBERTは、追加のCNN識別器を用いないAV45-PET合成において、PSNRが57.58、SSIMが0.27を達成。標準的なtanh活性化関数を用いたPix2Pix-GAN（PSNR: 50.41、SSIM: 0.0）を著しく上回った。
• CNN識別器の追加によりPSNRはわずかに低下（56.53に）したが、SSIMは向上（0.31に）し、RMSEはわずかに上昇した。これは、構造的類似性の向上が、やや高いRMSEを伴うことを示している。
• AV1451-PETでは、CNN-Dを用いない場合、PSNRが51.05、SSIMが0.25を達成し、異なるPETトレーサーに対しても堅牢であることが示された。
• FDG-PETでは、CNN-Dを用いない場合、PSNRが56.53、SSIMが0.11を達成したが、CNN-Dを適用した場合、SSIMが著しく低下（0.38に）した。これは、モード崩壊や分布シフトの可能性を示唆している。
• 視覚的比較により、GANBERTが生成したPET画像は、特に皮質領域において、元のPETスキャンと解剖学的構造と強度パターンで類似していることが確認された。
• 本手法は、最小限の前処理でオリジナルのSUVR単位のPET画像を効果的に合成でき、手動による強度スケーリングや後処理調整の必要性を排除した。