[논문 리뷰] Density Modeling of Images using a Generalized Normalization Transformation

Johannes Ballé, Valero Laparra외 1명|arXiv (Cornell University)|2015. 11. 19.

Neural Networks and Applications인용 수 242

한 줄 요약

이 논문은 국소적 이미지 패치를 최소화하는 음엔트로피를 최적화하여 가우시안화하는 가역적이고 미분 가능한 일반화된 나눗셈 정규화(GDN) 변환을 제안한다. 이 방법은 상호정보량을 줄이고 더 자연스러운 이미지 샘플을 생성하여 ICA-MG 및 레이디얼 가우시안화보다 우수한 성능을 보이며, 효과적인 이미지 노이즈 제거 및 딥 비지도 학습 표현 학습을 가능하게 한다.

ABSTRACT

We introduce a parametric nonlinear transformation that is well-suited for Gaussianizing data from natural images. The data are linearly transformed, and each component is then normalized by a pooled activity measure, computed by exponentiating a weighted sum of rectified and exponentiated components and a constant. We optimize the parameters of the full transformation (linear transform, exponents, weights, constant) over a database of natural images, directly minimizing the negentropy of the responses. The optimized transformation substantially Gaussianizes the data, achieving a significantly smaller mutual information between transformed components than alternative methods including ICA and radial Gaussianization. The transformation is differentiable and can be efficiently inverted, and thus induces a density model on images. We show that samples of this model are visually similar to samples of natural image patches. We demonstrate the use of the model as a prior probability density that can be used to remove additive noise. Finally, we show that the transformation can be cascaded, with each layer optimized using the same Gaussianization objective, thus offering an unsupervised method of optimizing a deep network architecture.

연구 동기 및 목표

• 보다 나은 밀도 모델링을 위해 국소적 이미지 패치를 효과적으로 가우시안화하는 매개변수화된 가역적 변환을 개발하는 것.
• 변환 매개변수를 최소 음엔트로피를 통해 최적화하여 비정규성 감소를 직접 목표로 하는 것.
• 시각적으로 현실적인 샘플을 생성하고 이미지 복원 작업을 지원하는 천연 이미지용 밀도 모델을 만드는 것.
• 동일한 가우시안화 목표를 통해 최적화된 각 층을 연결하여 다층 구조를 형성함으로써 딥 비지도 학습을 가능하게 하는 것.
• 빠른 수렴과 자료 효율성에 떨어지는 비모수적 방법들인 ICA-MG 및 레이디얼 가우시안화의 한계를 극복하는 것.

제안 방법

• GDN 변환은 선형 변환 후 비선형 정규화를 적용한다: 각 성분은 반직선화된 성분과 지수화된 성분의 가중합에 지수를 취한 값에 상수를 더한 풀링된 활동 측도로 나누어진다.
• 변환은 선형 변환 행렬, 지수, 가중치, 상수로 매개변수화되며, 출력 분포의 음엔트로피를 최소화하도록 모두 함께 최적화된다.
• 변환의 음엔트로피를 원래 데이터에 대한 기대치로 표현하기 위해 변수 변경 공식을 사용하여 엔드 투 엔드 최적화를 가능하게 한다.
• 변환의 자코비안이 곳곳에서 양의 정부호가 되도록 요구함으로써 가역성이 보장되며, 정확한 밀도 추정과 샘플링이 가능하다.
• 모델은 van Hateren 및 Kodak 데이터셋을 사용하여 천연 이미지 패치에서 훈련되며, 가시성 제거 및 강도 비선형성 전처리를 통해 가우시안화를 향상시킨다.
• 아키텍처는 동일한 음엔트로피 최소화 목표를 통해 최적화되는 GDN 층을 여러 개 쌓는 것을 지원하며, 비지도 학습을 위한 계층적 표현 학습이 가능하다.

실험 결과

연구 질문

• RQ1 매개변수화되고, 미분 가능하며, 가역적인 변환이 ICA-MG 및 레이디얼 가우시안화와 같은 기존 방법보다 천연 이미지 패치의 가우시안화에서 뛰어난 성능을 내는가?
• RQ2 제안된 GDN 변환이 상호정보량 감소와 샘플 품질 향상 측면에서 천연 이미지에 대해 더 나은 밀도 모델을 제공하는가?
• RQ3 GDN 변환이 비지도 표현 학습을 위한 다층 아키텍처를 효과적으로 구성할 수 있는가?
• RQ4 GDN 기반 밀도 모델은 기준 우선 모델에 비해 이미지 노이즈 제거 성능을 얼마나 향상시키는가?
• RQ5 비모수적 누적 비선형성과 비교할 때, 공동 정규화 함수 최적화 방식은 수렴 속도와 자료 효율성 측면에서 어떻게 다른가?

주요 결과

• GDN 변환은 ICA-MG 및 레이디얼 가우시안화보다 성분 간 상호정보량을 크게 낮춰, 더 우수한 상관관계 감소를 나타낸다.
• GDN 밀도 모델에서 생성된 샘플은 다른 모델에 비해 천연 이미지 패치와 더 유사한 시각적 품질을 보이며, 더 나은 통계적 충실도를 입증한다.
• 이미지 노이즈 제거에서 우선 모델로 사용되었을 때 GDN 모델은 기준 방법보다 뛰어난 성능을 보이며, 이미지 복원에서의 효과성을 입증한다.
• GDN 변환은 가역적이고 미분 가능하므로 정확한 밀도 추정과 효율적인 샘플링이 가능하며, 이는 확률 모델링에 있어 핵심적이다.
• 공통 최적화 목표를 공유하는 여러 GDN 층을 연결하면, 레이어별로 표현을 학습할 수 있는 다층 비지도 아키텍처가 만들어진다.
• 비모수적 대안들보다 수렴 속도와 자료 효율성에서 뛰어나지 않으며, 누적 비선형성을 추정하기 위해 대규모 데이터셋이 필요로 하는 문제를 피한다.