[논문 리뷰] DivNoising: Diversity Denoising with Fully Convolutional Variational Autoencoders.

Mangal Prakash, Alexander Krull외 1명|arXiv (Cornell University)|2020. 06. 10.

Cell Image Analysis Techniques인용 수 9

한 줄 요약

DivNoising는 단일 출력을 생성하는 기존의 단일 출력 기반 복소현미경 이미지 복원 방법의 한계를 해결하기 위해, 하나의 출력이 아닌 다양한 분포를 가진 복원된 이미지 예측을 하는 완전 컨volution 신경망 기반 변분 오토인코더를 제안한다. 이는 복소현미경 이미지의 불확실성을 반영한 복원을 가능하게 하며, 학습된 VAE의 사후 분포에서 샘플링을 통해 OCR 및 세포 분할 등의 후행 작업에서 성능 향상을 이끌어내지만, 짝지어진 정제된 데이터가 필요로 하지 않는다.

ABSTRACT

Deep Learning based methods have emerged as the indisputable leaders for virtually all image restoration tasks. Especially in the domain of microscopy images, various content-aware image restoration (CARE) approaches are now used to improve the interpretability of acquired data. But there are limitations to what can be restored in corrupted images, and any given method needs to make a sensible compromise between many possible clean signals when predicting a restored image. Here, we propose DivNoising -- a denoising approach based on fully-convolutional variational autoencoders, overcoming this problem by predicting a whole distribution of denoised images. Our method is unsupervised, requiring only noisy images and a description of the imaging noise, which can be measured or bootstrapped from noisy data. If desired, consensus predictions can be inferred from a set of DivNoising predictions, leading to competitive results with other unsupervised methods and, on occasion, even with the supervised state-of-the-art. DivNoising samples from the posterior enable a plethora of useful applications. We are (i) discussing how optical character recognition (OCR) applications could benefit from diverse predictions on ambiguous data, and (ii) show in detail how instance cell segmentation gains performance when using diverse DivNoising predictions.

연구 동기 및 목표

• 손상된 복소현미경 이미지에서 불확실성을 반영하지 못하는 단일 출력 기반 복원 방법의 한계를 해결하기 위해.
• 오직 노이즈 이미지와 노이즈 모델 기술서만을 사용하여 훈련하는 비지도 학습 기반의 복원 프레임워크를 개발하기 위해.
• 후행 작업(예: 광학 문자 인식 및 개별 세포 분할)에서 성능 향상을 이끌어내기 위해 다양한 예측을 가능하게 하기 위해.
• 불확실성을 반영한 분포 출력을 제공하여 이미지 분석에서 강건한 의사결정 지원을 가능하게 하기 위해.

제안 방법

• 이 방법은 노이즈가 있는 입력이 주어졌을 때 정제된 이미지에 대한 사후 분포를 모델링하기 위해 완전 컨volution 신경망 기반 변분 오토인코더(VAE)를 사용한다.
• 재표현 기법(Reparameterization trick)을 사용하여 엔드 투 엔드 훈련이 가능하게 하여, 사후 분포에서의 난수 샘플링을 통해 역전파가 가능하도록 한다.
• 노이즈 특성은 알려진 또는 추정된 노이즈 모델을 통해 모델링되며, 이는 VAE의 추론 및 생성 네트워크를 조절하는 데 사용된다.
• 학습된 VAE의 사후 분포에서 여러 번 샘플링을 통해 다양한 정제된 출력을 생성한다.
• 다양한 샘플들로부터 공통된 예측값을 계산하여 정확도와 내성 강도를 향상시킨다.
• 이 방법은 완전히 비지도 학습 기반으로, 훈련에 짝지어진 정제된-노이즈 이미지 쌍이 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 변분 오토인코더 프레임워크는 짝지어진 훈련 데이터 없이도 노이즈가 있는 복소현미경 이미지로부터 다양한 고화질의 정제된 출력을 생성할 수 있는가?
• RQ2 정제된 이미지의 분포에서 샘플링을 통해 후행 작업(예: OCR 및 세포 분할)에서 성능 향상이 어떻게 이루어지는가?
• RQ3 다양한 샘플들로부터 유도된 공통 예측값이 지도 학습 기반 최첨단 성능에 도달하거나 이를 초월할 수 있는가?
• RQ4 진짜 정제된 신호가 모호할 경우, 이 방법은 이미지 복원 과정에서 불확실성을 어떻게 다루는가?

주요 결과

• DivNoising는 다른 비지도 복원 방법들과 비교해 경쟁적인 성능을 보이며, 지도 학습 기반 최첨단 모델의 성능에 근접한다.
• 다양한 예측의 활용은 개별 세포 분할 성능 향상에 크게 기여하여, 불확실성을 반영한 출력의 가치를 입증한다.
• OCR 응용 분야에서는 낮은 대비 또는 모호한 텍스트를 포함한 노이즈가 많은 이미지에서 더 강건하게 대응할 수 있다.
• 다양한 샘플들로부터 유도된 공통 예측값은 안정적이고 고화질의 복원 결과를 제공하여 출력의 분산을 줄인다.
• 이 방법은 오직 노이즈 이미지와 노이즈 모델 기술서만으로도 효과적으로 작동하여, 짝지어진 데이터가 필요로 하지 않는다.