[논문 리뷰] Boosting CNN beyond Label in Inverse Problems

Eunju Cha, Jaeduck Jang외 3명|arXiv (Cornell University)|2019. 06. 18.

Image and Signal Denoising Methods참고 문헌 32인용 수 4

한 줄 요약

이 논문은 복소 신경망(CNN)에 적용된 역문제에 대한 편향 없는 예측 오차 추정을 위한 새로운 부스팅 추정기인 Noise2Boosting을 제안한다. 조합적 복소 프레임 표현과 배치 정규화를 활용하여, 정답 레이블 없이도 엔드 투 엔드 학습이 가능하게 하여, 단일 노이즈 이미지 입력만으로도 노이즈 제거, 초해상도 복원, MRI 재구성에서 뛰어난 성능을 달성한다.

ABSTRACT

Convolutional neural networks (CNN) have been extensively used for inverse problems. However, their prediction error for unseen test data is difficult to estimate a priori since the neural networks are trained using only selected data and their architecture are largely considered a blackbox. This poses a fundamental challenge to neural networks for unsupervised learning or improvement beyond the label. In this paper, we show that the recent unsupervised learning methods such as Noise2Noise, Stein's unbiased risk estimator (SURE)-based denoiser, and Noise2Void are closely related to each other in their formulation of an unbiased estimator of the prediction error, but each of them are associated with its own limitations. Based on these observations, we provide a novel boosting estimator for the prediction error. In particular, by employing combinatorial convolutional frame representation of encoder-decoder CNN and synergistically combining it with the batch normalization, we provide a close form formulation for the unbiased estimator of the prediction error that can be minimized for neural network training beyond the label. Experimental results show that the resulting algorithm, what we call Noise2Boosting, provides consistent improvement in various inverse problems under both supervised and unsupervised learning setting.

연구 동기 및 목표

• 정답 레이블이 제공되지 않을 경우 CNN의 예측 오차를 추정하는 문제에 대응하기 위해.
• 기존의 비지도 학습 방법인 Noise2Noise(다중 노이즈 실측이 필요함)와 Noise2Void(샘플링에 의해 제한됨)의 한계를 극복하기 위해.
• 예측 오차의 명시적이고 폐쇄형 편향 없는 추정기를 사용하여, 레이블을 초월한 일반화 성능을 향상시키는 일반화 가능한 레이블 없는 학습 프레임워크를 개발하기 위해.
• U-Net과 같은 인코더-디코더 CNN의 강력한 학습을 가능하게 하여, 단일 노이즈 입력 이미지당 하나의 입력만으로도 지도 및 비지도 설정 모두에서 학습을 수행할 수 있도록 하기 위해.

제안 방법

• 인코더-디코더 CNN의 조합적 복소 프레임 표현을 제안하여 입력 의존성 있는 선형 프레임 구조를 모델링한다.
• ReLU 네트워크 성질에 기반해 입력에 대한 네트워크 출력의 발산을 이용하여 예측 오차의 폐쇄형 편향 없는 추정기를 유도한다.
• 랜덤 가중치 또는 마스크를 적용한 입력 샘플의 다수 출력을 조합하여 예측 오차를 감소시키는 부스팅 전략을 도입한다.
• 배치 정규화를 사용하여 발산 항의 기여도를 단순화함으로써 학습을 간소화하고 정체 맵핑 학습을 방지한다.
• 노이즈 입력에 대해 랜덤 가중치(0.8–1.2)와 노이즈 증강(σ ∈ [10,40])을 적용하여 정답 이미지가 필요 없이 다양한 학습 샘플을 생성한다.
• 유도된 추정기를 학습 중 손실 함수로 사용함으로써, 지도가 없는 지정된 레이블 없이도 엔드 투 엔드 최적화가 가능하게 한다.

실험 결과

연구 질문

• RQ1 ReLU 기반 인코더-디코더 CNN에 대해 예측 오차의 편향 없는 추정기를 폐쇄형으로 유도할 수 있는가?
• RQ2 예측 오차 추정기는 어떻게 역문제에서 레이블을 초월한 CNN 학습에 활용될 수 있는가?
• RQ3 Noise2Noise(다중 노이즈 실측이 필요함)와 Noise2Void(샘플링에 의한 성능 저하)의 한계를 극복할 수 있는가?
• RQ4 랜덤 입력 가중치를 사용해 다수의 부스팅된 네트워크 출력을 조합하면 일반화 성능과 이미지 품질이 향상되는가?
• RQ5 제안된 방법은 단일 노이즈 입력 이미지당 하나의 입력만으로도 비지도 역문제에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• Noise2Boosting은 Gaussian 노이즈 제거 문제에서 Noise2Noise를 능가하는 PSNR와 SSIM 성능을 보였다. σ=25일 때 Set5에서 각각 29.117 PSNR와 0.742 SSIM를 기록했고, Noise2Noise는 각각 29.180과 0.756을 기록했다.
• 시각적으로 확인한 결과(그림 5 참조), σ=25일 때 노이즈 제거에서 Noise2Noise보다 더 나은 질감 및 세부 정보 복원 성능을 보였다.
• 초해상도 복원, 가속화된 MRI, 전자현미경 영역에서도 경쟁력 있는 성능을 달성하여 다양한 역문제에 대한 일반화 능력을 입증했다.
• 랜덤 입력 가중치와 노이즈 증강을 사용함으로써, 정답 이미지나 다수의 노이즈 실측이 필요 없이 효과적인 데이터 증강이 가능했다.
• 이론적 분석을 통해 배치 정규화를 통해 발산 항의 영향이 최소화됨을 확인하여 안정적이고 효율적인 학습이 가능함을 입증했다.
• 제안된 프레임워크는 단일 노이즈 입력만으로도 비지도 설정에서 CNN 학습을 가능하게 하여 데이터 확보의 제약을 크게 줄였다.