[논문 리뷰] Interpretable Unsupervised Diversity Denoising and Artefact Removal

Mangal Prakash, Mauricio Delbracio외 2명|arXiv (Cornell University)|2021. 04. 03.

Cell Image Analysis Techniques인용 수 8

한 줄 요약

이 논문은 계층적 변동 자동차오디터(Variaitonal Autoencoder, VAE) 기반의 새로운 비지도 학습 프레임워크인 계층적 DivNoising(HDN)을 제안한다. 이는 다양한 해석 가능한 노이즈 제거 영상 복원을 생성한다. HDN은 12개의 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 다중 척도 및 분리된 표현 학습을 활용해 비지도로 미세구조 이미지의 구조적 잡음 제거를 가능하게 한다.

ABSTRACT

Image denoising and artefact removal are complex inverse problems admitting multiple valid solutions. Unsupervised diversity restoration, that is, obtaining a diverse set of possible restorations given a corrupted image, is important for ambiguity removal in many applications such as microscopy where paired data for supervised training are often unobtainable. In real world applications, imaging noise and artefacts are typically hard to model, leading to unsatisfactory performance of existing unsupervised approaches. This work presents an interpretable approach for unsupervised and diverse image restoration. To this end, we introduce a capable architecture called Hierarchical DivNoising (HDN) based on hierarchical Variational Autoencoder. We show that HDN learns an interpretable multi-scale representation of artefacts and we leverage this interpretability to remove imaging artefacts commonly occurring in microscopy data. Our method achieves state-of-the-art results on twelve benchmark image denoising datasets while providing access to a whole distribution of sensibly restored solutions. Additionally, we demonstrate on three real microscopy datasets that HDN removes artefacts without supervision, being the first method capable of doing so while generating multiple plausible restorations all consistent with the given corrupted image.

연구 동기 및 목표

• 기존 비지도 노이즈 제거 방법이 단일 추정치만 생성하고 구조적 노이즈를 다루지 못하는 한계를 해결하기 위해.
• 특히 복잡한 실생활 영상 데이터에 대해 이전의 비지도 모델들인 DivNoising(DN)보다 더 표현력 있고 계산 효율적인 아키텍처를 개발하기 위해.
• 다중 척도에서 영상 잡음과 진짜 신호를 해석 가능한 방식으로 분리함으로써 타겟 잡음 제거를 가능하게 하기 위해.
• 비지도로 다양한 영상 복원이 어려운 현미경 및 자연 영상 데이터셋에서 지도 학습 방법에 가까운 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• HDN은 다중 확률적 잠재층을 가진 계층적 변동 자동차오디터(HVAE)를 사용하여 다중 척도 표현 학습을 가능하게 한다.
• 생성 경로에서 게이팅된 잔여 블록과 스킵 연결을 사용하여 특징 전파와 복원 정확도를 향상시킨다.
• 후행 분포 붕괴를 방지하고 학습을 안정화하기 위해 자유-비트(free-bits) 방법을 사용한 KL 정규화를 적용하며, 이는 이전 모델에서 사용된 KL 안내법보다 성능이 뛰어나다.
• 계층적 표현 표현력을 향상시키기 위해 래더 VAE에서 영감을 얻은 하향식 추론 및 상향식 생성 메커니즘을 사용한다.
• 구조적 노이즈 제거를 위해 가장 낮은 잠재층에 선택적 하향식 '비활성화' 기법을 적용하며, 이는 잡음과 진짜 신호를 계층적으로 분리하는 것을 활용한다.
• 모델은 쌍화된 데이터 없이 오직 손상된 이미지만으로 학습되어 완전한 비지도 동작가능성을 확보한다.

실험 결과

연구 질문

• RQ1 표준 VAE에 비해 계층적 VAE 아키텍처가 비지도 영상 노이즈 제거 성능을 크게 향상시킬 수 있는가?
• RQ2 이러한 모델이 고화질을 유지하면서도 다양한 가능한 노이즈 제거 복원을 생성할 수 있는가?
• RQ3 계층적 구조가 영상의 잡음과 진짜 신호 성분을 해석 가능한 방식으로 분리할 수 있는가?
• RQ4 스케일별 표현 분해를 활용해 지도 학습 없이도 구조적이고 공간적으로 상관된 노이즈(예: 현미경 이미지에서의 노이즈)를 제거할 수 있는가?
• RQ5 이 모델이 실제 세계 및 벤치마크 데이터셋에서 비지도와 지도 학습 간 성능 격차를 줄일 수 있는가?

주요 결과

• HDN은 12개의 벤치마크 영상 노이즈 제거 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 8개의 유명한 비지도 기준 모델을 모두 능가한다.
• BSD68 데이터셋에서 HDN은 PSNR 31.45 dB를 기록하여 DN 및 기타 비지도 모델보다 뚜렷이 뛰어나다.
• 배치 정규화를 적용했을 때 HDN은 DN 대비 0.5 dB 향상되었으며, 스킵 연결 덕분에 추가로 0.2 dB 향상되었다.
• 입력 노이즈 수준이 높아질수록 샘플의 다양성이 증가함을 확인했으며, 이는 100개 샘플 앙상블에서 픽셀 단위 표준편차가 증가하는 것으로 입증되었다.
• 세 가지 실현 현미경 데이터셋에서 HDN은 어떤 지도 학습 없이도 구조적 잡음을 성공적으로 제거했으며, 입력과 일관된 다수의 가능한 복원 결과를 생성했다.
• 계층적 아키텍처 덕분에 낮은 층에서 캡처된 잡음(예: 낮은 층)과 높은 층에서 캡처된 진짜 신호를 해석 가능한 방식으로 분리할 수 있었으며, 낮은 수준의 특징 비활성화를 통해 타겟 잡음 제거가 가능했다.