[논문 리뷰] Deep Bayesian Inversion

Jonas Adler, Ozan Öktem|arXiv (Cornell University)|2018. 11. 14.

Medical Imaging Techniques and Applications인용 수 38

한 줄 요약

이 논문은 대규모 3D 영상에서의 깊이 학습 기반 베이지안 역문제 해결 방법 두 가지를 제안한다: 후행 분포에서 샘플링을 위한 미니-판별자와 함께 사용하는 워셔스타인 GAN과, 새로운 손실 함수를 사용한 직접적인 신경망 접근법을 통한 평균 추정. 두 방법 모두 초저선량 3D 나선형 CT에서 계산적으로 효율적인 불확실성 정량화를 가능하게 하여 간의 어두운 반점과 같은 병적 특징을 높은 성능으로 탐지한다.

ABSTRACT

Characterizing statistical properties of solutions of inverse problems is essential for decision making. Bayesian inversion offers a tractable framework for this purpose, but current approaches are computationally unfeasible for most realistic imaging applications in the clinic. We introduce two novel deep learning based methods for solving large-scale inverse problems using Bayesian inversion: a sampling based method using a WGAN with a novel mini-discriminator and a direct approach that trains a neural network using a novel loss function. The performance of both methods is demonstrated on image reconstruction in ultra low dose 3D helical CT. We compute the posterior mean and standard deviation of the 3D images followed by a hypothesis test to assess whether a "dark spot" in the liver of a cancer stricken patient is present. Both methods are computationally efficient and our evaluation shows very promising performance that clearly supports the claim that Bayesian inversion is usable for 3D imaging in time critical applications.

연구 동기 및 목표

• 대규모 3D 영상 응용 분야에서의 베이지안 역문제 해결의 계산 불가능성 문제를 해결한다.
• 역문제에서 후행 분포를 근사하기 위한 효율적인 딥 러닝 기반 방법을 개발한다.
• 3D 영상에서 시간이 급한 임상 의사결정을 위한 실용적인 불확실성 정량화를 가능하게 한다.
• 임상적 관련성이 높은 초저선량 3D 나선형 CT에서의 방법을 시연한다.

제안 방법

• 저해상도 특징(8×8)에 기반한 미니-판별자와 함께 조건부 워셔스타인 GAN을 사용하여 후행 분포에서 샘플링한다.
• 측정된 데이터에 조건부로 이미지를 재구성하기 위해 데이터에서 스킵 커넥션을 갖는 생성자 네트워크를 활용한다.
• 재구성 오차를 최소화하고 L2 정규화를 적용하는 새로운 손실 함수를 도입하여 직접적인 후행 평균 추정을 수행한다.
• GAN 설정에서 판별자의 훈련을 안정화하기 위해 기울기 페널티와 드리프트 정규화를 적용한다.
• 안정적인 훈련을 위해 ADAM 옵timizer를 사용하고 학습률 감소 및 배치 정규화를 적용한다.
• 오버피팅을 완화하기 위해 데이터 증강과 가중치 감소를 적용한다.

실험 결과

연구 질문

• RQ1 깊이 생성 모델은 대규모 3D 역문제에서 복잡한 후행 분포를 효과적으로 근사할 수 있는가?
• RQ2 미니-판별자를 갖는 조건부 GAN은 3D 의료 영상에서 효율적이고 안정적인 후행 분포 샘플링을 가능하게 하는가?
• RQ3 새로운 손실 함수를 사용한 직접적인 신경망 접근법은 전통적 방법보다 후행 평균 추정에서 더 우수한 성능을 내는가?
• RQ4 이러한 방법들은 간 병변 탐지와 같은 임상적으로 관련된 의사결정을 위한 신뢰할 수 있는 불확실성 정량화를 제공할 수 있는가?
• RQ5 수작업으로 만든 사전분포와 학습된 사전분포는 후행 행동과 임상적 관련성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 GAN 기반 방법은 높은 정밀도로 후행 분포에서 샘플링을 가능하게 하여 3D 이미지 재구성에서 불확실성 정량화를 실현한다.
• 직접 추정 방법은 최소한의 계산 오버헤드로 정확한 후행 평균 추정을 달성한다.
• 두 방법 모두 계산적으로 효율적이며 초저선량 3D 나선형 CT와 같은 시간이 급한 임상 응용에 적합하다.
• 가설 검증을 통해 암 환자의 간에서 병적 어두운 반점이 성공적으로 탐지되었으며, 임상적 관련성이 입증되었다.
• 수작업으로 만든 사전분포(예: TV 또는 Besov 사전분포)가 약한 수렴을 보이며 가우시안 랜덤 필드로 수렴하는 것으로 나타나, 최종 결과에 미치는 영향은 학습된 사전분포에 비해 제한적임을 시사한다.
• 데이터 증강과 정규화에도 불구하고 오버피팅이 관찰되어 더 많은 훈련 데이터가 추가로 필요할 수 있음을 시사한다.