[논문 리뷰] Prior Image-Constrained Reconstruction using Style-Based Generative Models

Varun A. Kelkar, Mark A. Anastasio|arXiv (Cornell University)|2021. 02. 24.

Image Processing Techniques and Applications인용 수 7

한 줄 요약

이 논문은 스타일 기반 생성 모델(예: StyleGAN)의 분리된 잠재 공간을 활용하여 사전 이미지의 제약 조건을 통해 이미지 복원을 수행하는 새로운 프레임워크를 제안한다. 사전 이미지에서 특정 의미적 스타일을 잠재 공간에서 고정하고 나머지 스타일에 대해 최적화함으로써, 매우 불완전한 측정치로부터 물체를 복원하는 데 있어 뛰어난 안정성과 정확도를 달성한다. 수치 실험에서 기존의 희박한 차이 모델 및 기준 생성 모델 접근 방식을 능가한다.

ABSTRACT

Obtaining a useful estimate of an object from highly incomplete imaging measurements remains a holy grail of imaging science. Deep learning methods have shown promise in learning object priors or constraints to improve the conditioning of an ill-posed imaging inverse problem. In this study, a framework for estimating an object of interest that is semantically related to a known prior image, is proposed. An optimization problem is formulated in the disentangled latent space of a style-based generative model, and semantically meaningful constraints are imposed using the disentangled latent representation of the prior image. Stable recovery from incomplete measurements with the help of a prior image is theoretically analyzed. Numerical experiments demonstrating the superior performance of our approach as compared to related methods are presented.

연구 동기 및 목표

• 의미적으로 관련된 사전 이미지가 제공될 때, 매우 불완전한 영상 측정치로부터 물체를 복원하는 데 도전하는 것.
• 기존의 희박한 차이 모델이 객체와 사전 이미지 간의 차이가 압축 가능하다고 가정하는 데서 비롯되는 한계를 극복하는 것.
• 스타일 기반 생성 모델의 분리된 잠재 공간을 활용하여 의미론적 수준에서의 정규화를 이미지 복원에 적용하는 것.
• 비균일 측정 및 분포 내 가정 하에 복원 과정의 이론적 안정성 보장을 제공하는 것.
• 실제 및 합성 데이터를 사용한 압축 감지 및 MRI 복원 작업에서 기존 방법보다 향상된 성능을 입증하는 것.

제안 방법

• 사전에 훈련된 스타일 기반 생성 모델(예: StyleGAN)의 분리된 잠재 공간에서 이미지 복원 문제를 최적화 문제로 공식화한다.
• 사전 이미지의 분리된 잠재 표현을 계산하고, 특정 스타일 벡터(p1, p2)를 사전 이미지의 것과 일치하도록 고정한다.
• 남은 잠재 벡터를 최적화하여 측정치와의 데이터 일致성을 최소화하면서 의미론적 구조를 유지한다.
• 조절된 계층적 방식(거시, 중간, 미세 스케일)으로 사전 이미지의 스타일 벡터에서의 이탈을 방지하는 정규화 항을 사용한다.
• 생성 모델의 야코비안 기반 이론적 분석을 통해 측정 노이즈 하에서의 안정성을 확보한다.
• 단일 GPU에서 약 5분 내에 수렴하는 경량 기반 최적화 기법을 사용해 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 사전 이미지에서 유도된 분리된 잠재 공간 제약 조건이 매우 불완전한 영상 환경에서 복원 정확도를 향상시킬 수 있는가?
• RQ2 고정할 스타일 벡터 그룹(p1, p2)의 선택이 복원 성능 및 안정성에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 희박한 차이 페널티를 갖는 전통적인 사전 이미지 제약 압축 감지(PICCS)보다 우월한가?
• RQ4 측정 노이즈 및 비균일 샘플링 하에서 복원된 이미지의 안정성에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 이 방법은 다양한 영상 모odalities와 의미적 차이(예: 종양 진화, 대조도 변화)에 대해 일반화 가능한가?

주요 결과

• 제안된 방법, 즉 PICGM(Prior Image-Constrained Generative Model)은 8배의 낮은 샘플링 조건에서도 MRI 및 합성 이미지 복원 작업에서 기준 방법보다 유의미하게 낮은 RMSE를 달성한다.
• 사전 이미지와 진짜값 간의 정렬 불일치에 대해서도 강건성을 보이며, 다양한 정렬 불일치 설정에서도 안정적인 성능을 유지한다.
• 잘못된 스타일 벡터 그룹(p1, p2)을 선택할 경우 약 10%의 중앙값 RMSE 저하가 관찰되며, 이는 적절한 스타일 선택에 민감함을 시사하지만 여전히 합리적인 성능을 유지함을 의미한다.
• 이론적 분석 결과, 잠재 솔루션에서 생성 모델의 야코비안이 잘 행동할 경우 안정적 복원이 보장됨을 보여주며, 환각 현상에 대해 유연한 실패 방식을 제공한다.
• 객체가 사전 이미지와 희박하지 않은 방식으로 다를 경우, 표준 압축 감지와 표준 GAN 기반 복원 방식보다 뛰어난 성능을 보이며, 특히 이러한 경우에 유의미한 성능 향상을 보인다.
• 사전 이미지에서 고정된 스타일 벡터의 사용은 종양 특징이나 대조 특성과 같은 의미론적 제어를 가능하게 하며, 이는 기존 방법이 포착하지 못하는 영역이다.