[論文レビュー] GLOWin: A Flow-based Invertible Generative Framework for Learning Disentangled Feature Representations in Medical Images

Aadhithya Sankar, Matthias Keicher+5 more|arXiv (Cornell University)|Mar 19, 2021

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 8

ひとこと要約

GLOWin は、要因損失を適応させることで、画像内の異常の有無、スライスインデックス、残留特徴といった意味のあるコンponentに潜在空間を因子分解することにより、医用画像における分離可能な特徴表現を学習する、エンドツーエンドの可逆的生成モデルである。本手法は、可逆性を維持したまま高精細な画像を生成し、ぼんやりとした画像を生じさせない。また、下流の分離タスクにおいて最先端の性能を達成している。

ABSTRACT

Disentangled representations can be useful in many downstream tasks, help to make deep learning models more interpretable, and allow for control over features of synthetically generated images that can be useful in training other models that require a large number of labelled or unlabelled data. Recently, flow-based generative models have been proposed to generate realistic images by directly modeling the data distribution with invertible functions. In this work, we propose a new flow-based generative model framework, named GLOWin, that is end-to-end invertible and able to learn disentangled representations. Feature disentanglement is achieved by factorizing the latent space into components such that each component learns the representation for one generative factor. Comprehensive experiments have been conducted to evaluate the proposed method on a public brain tumor MR dataset. Quantitative and qualitative results suggest that the proposed method is effective in disentangling the features from complex medical images.

研究の動機と目的

• 事前学習済みエンコーダーに依存せずに、医用画像における分離可能な表現を学習するフローベース生成モデルの開発。
• 生成画像における特定の意味的要因（例：腫瘍の有無、解剖的スライス位置）を、分離可能な潜在要因によって制御可能にする。
• 異常分類や回帰などの下流タスクにおける分離可能な表現の耐性および有用性の評価。
• VAEベースの生成モデルで一般的に見られるぼんやりとした画像を回避する、エンドツーエンドの可逆的フレームワークの提供。

提案手法

• 効率的なノーマライジングフローのモデリングのため、逆可逆1×1畳み込みとアフィンカップリング層を用いたマルチスケールアーキテクチャを、Glowモデルに拡張。
• IINからの要因損失を、フローベースフレームワークに適応させ、事前学習済み特徴に依存せずに、空間的埋め込みにおける潜在要因の分離を可能にする。
• 潜在空間を3つのコンponentに因子分解：異常（腫瘍の有無）、スライスインデックス（解剖的場所）、残留（その他のすべての意味的コンテンツ）。
• 明示的なラベルを必要とせず、共通する意味的コンセプトを持つ画像ペアを用いて、生の医用画像上でエンドツーエンドでモデルを訓練。
• 一般化と耐性を向上させるために、訓練中に一様なノイズ補強を実施。
• 最終的な潜在スケールにおける分離を強制するために、スライスインデックス回帰と要因固有の再構成を組み合わせた共同損失を採用。

実験結果

リサーチクエスチョン

• RQ1 フローベース生成モデルは、事前学習済みエンコーダーや明示的なラベルに依存せずに、医用画像における分離可能な表現を学習できるか？
• RQ2 提案された要因損失の適応は、腫瘍の有無や解剖的スライス位置といった意味のある意味的要因の分離にどの程度効果的か？
• RQ3 分離可能な表現は、異常分類やスライスインデックス回帰といった下流タスクの性能をどの程度向上させるか？
• RQ4 医用画像における入力ノイズや分布シフトに対して、学習された表現はどの程度耐性を示すか？

主な発見

• GLOWin は、より小さな潜在表現を用いても、Glow や IIN と同等またはそれ以上の性能を、下流の異常分類およびスライスインデックス回帰タスクで達成している。
• ノイズレベルにかかわらず、AUC と正答率が高く維持されており、IINベースラインよりも入力ノイズに対してより高い耐性を示している。
• 定性的な結果から、実際のサンプル間の補間が妥当な遷移を生じており、意味的要因の意味のある分離が行われていることが示されている。
• ノイズの強い画像の再構成において、GLOWin は IIN よりも構造的詳細をよりよく保持しており、特に高ノイズレベルで顕著である。
• 分離可能な潜在要因により、制御された画像生成が可能である（例：健康なスライスに腫瘍を挿入）。これは、データ拡張における実用的有用性を示している。
• モデルはスライスインデックス要因を効果的に学習しており、共登録された脳画像における解剖的形状と位置の代理として機能している。