[논문 리뷰] Blind Image Denoising and Inpainting Using Robust Hadamard Autoencoders

Rasika Karkare, Randy Paffenroth외 1명|arXiv (Cornell University)|2021. 01. 26.

Image and Signal Denoising Methods참고 문헌 20인용 수 8

한 줄 요약

이 논문은 깨끗한 학습 데이터가 필요 없이 동시에 망각된 이미지 복원과 인painting을 수행하는 새로운 딥러닝 프레임워크인 로버스트 하다르드 오토에인코더(Robust Hadamard Autoencoders, RHA)를 제안한다. 비선형이고 종단 간 최적화를 통해 부분적으로 관측된 데이터를 다루기 위해 로버스트 딥 오토에인코더를 확장하고, 프록시멀 기울기와 $\ell_1$-노름 페널티를 사용함으로써, MNIST 및 CIFAR10에서 노이즈와 누락 데이터 상황에서 최신 기술 수준(SOTA)의 성능을 달성한다. 이는 재구성 정밀도와 일관된 오염에 대한 강건성 측면에서 이전 방법들을 능가한다.

ABSTRACT

In this paper, we demonstrate how deep autoencoders can be generalized to the case of inpainting and denoising, even when no clean training data is available. In particular, we show how neural networks can be trained to perform all of these tasks simultaneously. While, deep autoencoders implemented by way of neural networks have demonstrated potential for denoising and anomaly detection, standard autoencoders have the drawback that they require access to clean data for training. However, recent work in Robust Deep Autoencoders (RDAEs) shows how autoencoders can be trained to eliminate outliers and noise in a dataset without access to any clean training data. Inspired by this work, we extend RDAEs to the case where data are not only noisy and have outliers, but also only partially observed. Moreover, the dataset we train the neural network on has the properties that all entries have noise, some entries are corrupted by large mistakes, and many entries are not even known. Given such an algorithm, many standard tasks, such as denoising, image inpainting, and unobserved entry imputation can all be accomplished simultaneously within the same framework. Herein we demonstrate these techniques on standard machine learning tasks, such as image inpainting and denoising for the MNIST and CIFAR10 datasets. However, these approaches are not only applicable to image processing problems, but also have wide ranging impacts on datasets arising from real-world problems, such as manufacturing and network processing, where noisy, partially observed data naturally arise.

연구 동기 및 목표

• 표준 오토에인코더가 복원 및 인painting을 위해 깨끗한 학습 데이터가 필요로 하는 한계를 해결하기 위해.
• 결함이 있는 데이터, 예를 들어 일부 픽셀 블록이 누락된 경우와 같은 부분적으로 관측된 데이터를 처리할 수 있도록 로버스트 딥 오토에인코더(Robust Deep Autoencoders, RDAEs)를 확장하기 위해.
• 사전에 깨끗한 데이터에 대한 지식 없이도 노이즈를 추론하고 제거하며 누락 영역을 채우는 검증 가능한 종단 간 프레임워크를 개발하기 위해.
• 단일 비선형 오토에인코더 아키텍처 안에서 동시에 맹검 복원, 인painting, 저랭크/희소 분해를 수행할 수 있도록 하기 위해.
• 실제 데이터 시나리오에서 랜덤 노이즈와 일관된 오염(예: 이미지 블록 누락)에 대한 강건성을 입증하기 위해.

제안 방법

• 모델은 입력 데이터의 저랭크 및 희소 분해를 수행하는 비선형 오토에인코더 아키텍처를 사용하며, 저랭크 성분은 깨끗한 이미지를 나타내고, 희소 성분은 노이즈와 누락된 데이터를 포괄한다.
• 백프로파게이션과 $\ell_1$-노름 정규화를 조합한 프록시멀 기울기 기반 최적화 기법을 적용하여, 기저 깨끗한 신호에서 노이즈와 누락된 데이터를 분리한다.
• 손실 함수에는 $\lambda$로 제어되는 페널티 항이 포함되어 있으며, 이는 과적합을 방지하고 노이즈에 대한 과도한 적합 또는 깨끗한 데이터에 대한 과소적합을 방지하기 위해 저랭크 성분과 희소 성분의 균형을 조절한다.
• 모델은 기준 깨끗한 이미지에 접근할 수 없이 오직 오염된 데이터만으로 학습되므로, 진정으로 맹검 추론이 가능하다.
• 학습 이전에 누락된 픽셀은 평균 값으로 초기화되며, 모델은 주변 맥락에 기반해 이를 재구성하도록 학습한다.
• 딥 네URAL 네트워크를 통해 로버스트 PCA를 비선형 표현으로 일반화함으로써, 선형 투영을 넘어서는 우수한 특징 학습 능력을 제공한다.

실험 결과

연구 질문

• RQ1 깨끗한 학습 데이터에 접근할 수 없는 상황에서 딥 오토에인코더가 노이즈 제거 및 인painting을 수행할 수 있는가?
• RQ2 모델이 단일 통합 프레임워크 내에서 랜덤 노이즈와 일관된 오염(예: 이미지 블록 누락)을 효과적으로 처리할 수 있는가?
• RQ3 제안된 RHA 모델의 성능은 RDAEs 및 기타 최신 기술 수준의 방법과 비교해 맹검 복원 및 인painting 작업에서 어떻게 나타나는가?
• RQ4 정규화 파rameter $\lambda$가 저랭크 및 희소 재구성 품질에 미치는 영향은 무엇인가?
• RQ5 학습에 사용되지 않은 새로운 데이터에 대해 모델이 일반화될 수 있는가? 이는 새로운 오염된 입력에 대해 진정된 추론을 가능하게 하는가?

주요 결과

• RHA 모델은 랜덤 노이즈와 누락 블록이 존재하는 MNIST 및 CIFAR10 데이터셋에서 RDAE 및 CE 모델보다 뛰어난 재구성 품질을 달성한다.
• CIFAR10에 대해 RHA 모델은 10×10 크기의 누락 블록과 소금과胡미 염료 노이즈가 존재하는 상황에서도 깨끗한 이미지를 성공적으로 재구성하지만, CE 모델은 의미 있는 구조를 복구하지 못한다.
• 최적의 성능은 중간 정도의 $\lambda$ 값(예: 50)에서 달성되며, 이는 노이즈가 희소 성분에서 필터링되고 깨끗한 저랭크 구조는 유지됨을 의미한다.
• 모델은 누락된 픽셀의 초기화 값(예: 평균, 0, 무작위)에 대해 강건성을 보이며, 학습 과정의 안정성을 시사한다.
• RHA 프레임워크는 제조 및 네트워크 처리와 같이 깨끗한 데이터가 확보되지 않은 실세계 데이터에 대해 성공적으로 일반화된다.
• 이 방법은 단일 비선형 오토에인코더를 통해 동시에 맹검 복원, 인painting, 이상 탐지가 가능하게 하여, 전통적 RPCA의 기능을 확장한다.