[논문 리뷰] Image denoising with multi-layer perceptrons, part 2: training trade-offs and analysis of their mechanisms

Harold Christopher Burger, Christian J. Schuler외 1명|arXiv (Cornell University)|2012. 11. 07.

Image and Signal Denoising Methods참고 문헌 23인용 수 26

한 줄 요약

이 논문은 이미지 디노이징을 위한 다층 퍼셉트론(MLP)의 학습 트레이드오프와 내부 메커니즘을 조사하며, 적절한 하이퍼파rameter 튜닝을 통해 더 깊은 MLP가 최신 기술 성능에 도달할 수 있음을 입증한다. 연구에서는 디노이징이 tanh 유닛의 특징 탐지 및 포화를 통해 이루어지며, 이로 인해 이진형 유사 표현이 생성되고 이는 암묵적 정규화 역할을 한다고 밝혀내며, 활성화 패턴 분석을 통해 모델의 내부 논리적 구조를 해석 가능하게 한다.

ABSTRACT

Image denoising can be described as the problem of mapping from a noisy image to a noise-free image. In another paper, we show that multi-layer perceptrons can achieve outstanding image denoising performance for various types of noise (additive white Gaussian noise, mixed Poisson-Gaussian noise, JPEG artifacts, salt-and-pepper noise and noise resembling stripes). In this work we discuss in detail which trade-offs have to be considered during the training procedure. We will show how to achieve good results and which pitfalls to avoid. By analysing the activation patterns of the hidden units we are able to make observations regarding the functioning principle of multi-layer perceptrons trained for image denoising.

연구 동기 및 목표

• 이미지 디노이징을 위한 MLP에서 임계적인 학습 트레이드오프를 규명하고 해결하는 것, 특히 대규모 및 시간 소모가 큰 실험에서의 문제 해결.
• 초기 성과가 있었음에도 불구하고 일부 하이퍼파ram터 설정이 치명적인 성능 저하를 초래하는 이유를 이해하는 것.
• 은닉 유닛 활성화 패턴을 분석하여 학습된 MLP의 내부 작동 원리를 밝혀내는 것.
• 최적의 디노이징 성능를 달성하기 위해 아키텍처의 깊이, 패치 크기, 피니팅(fine-tuning)의 역할을 평가하는 것.
• 단일 및 다중층 MLP의 기능적 행동을 비교하고, 이들의 메커니즘이 디노이징 오토인코더와 RBM과 어떻게 관련되어 있는지 밝혀내는 것.

제안 방법

• 노이즈가 섞인 이미지 패치와 정제된 이미지 패치로 구성된 대규모 데이터셋에서, 최대 네 개의 은닉층을 가지며 각각 2047개의 유닛을 갖는 깊은 MLP를 학습하는 것.
• 적응형 학습률을 사용하는 확률적 경사 하강법를 적용하고, 학습 및 테스트 PSNR를 모니터링하여 성능 변화를 추적하는 것.
• 개별 은닉 유닛을 최대한 활성화시키는 입력 패턴을 시각화하기 위해 활성화 최대화(activation maximization)를 적용하는 것.
• 블록 매칭 MLP에서 이웃 패치 간의 가중치 업데이트를 분석하여 특징 검출기의 일관성을 평가하는 것.
• 다양한 패치 크기, 네트워크 깊이, 은닉 유닛 수를 가진 모델을 비교하여 최적의 구성 요건을 규명하는 것.
• 최종 테스트 성능 향상을 위해 학습률을 낮춘 피니팅을 수행하는 것.

실험 결과

연구 질문

• RQ1 어떤 학습 하이퍼파ram터 설정과 구성이 MLP에서 안정적인 수렴과 최적의 디노이징 성능를 보장하는가?
• RQ2 초기 성능 향상이 있었음에도 불구하고 일부 학습 실행에서 치명적인 성능 저하가 발생하는 이유는 무엇인가?
• RQ3 은닉 유닛 활성화 패턴은 학습된 MLP가 이미지 디노이징을 위해 어떻게 작동하는지 밝혀내는 데 어떻게 기여하는가?
• RQ4 더 깊은 MLP가 단일층 모델과 동일한 기능 원리를 따르는가? 그 정도는 어느 정도인가?
• RQ5 노이즈의 유형과 강도는 학습된 특징 검출기와 생성기의 특성에 어떤 영향을 미치는가?

주요 결과

• 긴 학습 시간은 과적합을 유도하지 않으며, 특히 고용량 모델에서 수렴을 위해 필수적이다.
• 더 큰 아키텍처는 항상 더 나은 성능을 보이며, 더 많은 학습 데이터는 항상 성능 향상에 기여한다.
• 최적의 은닉층 수가 존재하며, 이를 초과하면 치명적인 성능 저하가 발생한다.
• 낮은 학습률로 피니팅을 수행하면 특히 깊은 네트워크에서 뚜렷한 성능 향상이 이루어진다.
• 학습된 MLP의 은닉 유닛은 특정 이미지 특징을 탐지하며, 이들의 활성화 패턴은 디노이징이 특징 탐지와 tanh 포화를 통해 이루어진다는 것을 드러낸다.
• tanh 포화로 인해 모델의 내부 표현은 실질적으로 이진형에 가깝다. 이는 디노이징 오토인코더의 정규화 해석을 지지한다.