[논문 리뷰] GLOWin: A Flow-based Invertible Generative Framework for Learning Disentangled Feature Representations in Medical Images

Aadhithya Sankar, Matthias Keicher외 5명|arXiv (Cornell University)|2021. 03. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 8

한 줄 요약

GLOWin은 정규화 흐름 기반의 엔드 투 엔드 가역 생성 모델로, 요소 손실을 수정하여 잠재 공간을 비정상성 존재, 슬라이스 인덱스, 잔류 특징 등의 의미 있는 성분들로 인과 분해함으로써 의료 영상에서 분리된 특징 표현을 학습한다. 이 방법은 블러리 없이 고해상도 영상을 생성하면서도 가역성을 유지하며, 후행 분리 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Disentangled representations can be useful in many downstream tasks, help to make deep learning models more interpretable, and allow for control over features of synthetically generated images that can be useful in training other models that require a large number of labelled or unlabelled data. Recently, flow-based generative models have been proposed to generate realistic images by directly modeling the data distribution with invertible functions. In this work, we propose a new flow-based generative model framework, named GLOWin, that is end-to-end invertible and able to learn disentangled representations. Feature disentanglement is achieved by factorizing the latent space into components such that each component learns the representation for one generative factor. Comprehensive experiments have been conducted to evaluate the proposed method on a public brain tumor MR dataset. Quantitative and qualitative results suggest that the proposed method is effective in disentangling the features from complex medical images.

연구 동기 및 목표

• 사전 훈련된 인코더에 의존하지 않고 의료 영상에서 분리된 표현을 학습하는 정규화 흐름 기반 생성 모델을 개발하는 것.
• 생성된 영상에서 특정 의미적 요소(예: 종양 존재 여부, 해부학적 슬라이스 위치)를 분리된 잠재 요소를 통해 제어할 수 있도록 하는 것.
• 분리된 표현의 강건성과 실용성을 비정상성 분류 및 회귀와 같은 후행 작업에서 평가하는 것.
• VAE 기반 생성 모델에서 흔히 발생하는 블러리 문제를 피하는 엔드 투 엔드 가역 프레임워크를 제공하는 것.

제안 방법

• 정규화 흐름 모델링을 효율적으로 구현하기 위해 가역 1×1 컨볼루션과 애핀 코어링 레이어를 사용하는 다중 스케일 아키텍처로 Glow 모델을 확장한다.
• IIN에서 유도된 요소 손실을 정규화 흐름 프레임워크에 맞게 수정하여, 사전 훈련된 특징 없이도 잠재 요소의 분리를 가능하게 한다.
• 잠재 공간을 세 가지 성분으로 분해한다: 비정상성(종양 존재 여부), 슬라이스 인덱스(해부학적 위치), 잔류(기타 모든 의미적 콘텐츠).
• 명시적 레이블이 필요 없도록, 공통적인 의미적 개념을 공유하는 영상 쌍을 사용하여 원시 의료 영상에서 모델을 엔드 투 엔드로 훈련한다.
• 강건성과 일반화 성능 향상을 위해 훈련 중에 균일한 노이즈 증강을 적용한다.
• 슬라이스 인덱스 회귀와 요소별 재구성 손실을 통합하여 최종 잠재 스케일에서의 분리성을 강제한다.

실험 결과

연구 질문

• RQ1 정규화 흐름 기반 생성 모델은 사전 훈련된 인코더나 명시적 레이블 없이도 의료 영상에서 분리된 표현을 학습할 수 있는가?
• RQ2 제안된 요소 손실 적응 기법은 종양 존재 여부 및 해부학적 슬라이스 위치와 같은 의미 있는 의미적 요소를 얼마나 효과적으로 분리하는가?
• RQ3 분리된 표현은 비정상성 분류 및 슬라이스 인덱스 회귀와 같은 후행 작업에서 성능 향상에 얼마나 기여하는가?
• RQ4 의료 영상에서의 입력 노이즈와 분포 이동에 대해 학습된 표현은 얼마나 강건한가?

주요 결과

• GLOWin은 더 작은 잠재 표현을 사용함에도 불구하고, 후행 비정상성 분류 및 슬라이스 인덱스 회귀 작업에서 Glow 및 IIN과 비교해 유사하거나 더 높은 성능을 달성한다.
• 노이즈 수준에 관계없이 높은 AUC와 정확도를 유지하여, IIN 기준 대비 더 강건한 입력 노이즈에 대한 저항성을 보였다.
• 정성적 결과에서는 실제 샘플 간의 보간이 유의미한 전이를 생성함으로써 의미 있는 의미적 요소의 분리가 이루어졌음을 시사한다.
• 노이즈가 첨가된 영상 재구성 결과, 특히 높은 노이즈 수준에서 IIN 대비 GLOWin이 구조적 세부 정보를 더 잘 유지함을 확인하였다.
• 분리된 잠재 요소를 활용해 제어된 영상 생성이 가능함—예를 들어 건강한 슬라이스에 종양을 삽입함—으로써 데이터 증강에 실용적인 응용 가능성을 입증하였다.
• 모델는 스플릿 인덱스 요소를 성공적으로 학습하였으며, 이는 공통 기준에 맞춰진 뇌 영상에서 해부학적 형태와 위치를 대체로 나타내는 역할을 한다.