[논문 리뷰] On the relation between statistical learning and perceptual distances

Alexander Hepburn, Valero Laparra외 3명|arXiv (Cornell University)|2021. 06. 08.

Image and Signal Denoising Methods참고 문헌 47인용 수 5

한 줄 요약

이 논문은 통계적 영상 특성, 인지적 거리, 비지도 표현 학습 간의 연관성을 탐구한다. 인지적 거리가 자연 영상 통계 하에서 영상의 가능도와 상관관계가 있음을 보여주며, 자동에코더에서 인지적 손실을 사용할 경우, 특히 작은 배치 크기에서 분산을 줄이는 암묵적 정규화를 통해 기울기 추정을 향상시킬 수 있음을 밝힌다. 다만 이미지 통계가 손실 함수와 데이터 양쪽에서 중복으로 고려되므로, MSE에 비해 성능 향상은 자료가 부족한 환경를 제외하면 제한적이다.

ABSTRACT

It has been demonstrated many times that the behavior of the human visual system is connected to the statistics of natural images. Since machine learning relies on the statistics of training data as well, the above connection has interesting implications when using perceptual distances (which mimic the behavior of the human visual system) as a loss function. In this paper, we aim to unravel the non-trivial relationships between the probability distribution of the data, perceptual distances, and unsupervised machine learning. To this end, we show that perceptual sensitivity is correlated with the probability of an image in its close neighborhood. We also explore the relation between distances induced by autoencoders and the probability distribution of the training data, as well as how these induced distances are correlated with human perception. Finally, we find perceptual distances do not always lead to noticeable gains in performance over Euclidean distance in common image processing tasks, except when data is scarce and the perceptual distance provides regularization. We propose this may be due to a \emph{double-counting} effect of the image statistics, once in the perceptual distance and once in the training procedure.

연구 동기 및 목표

• 인지적 거리, 영상 통계, 비지도 표현 학습 간의 관계를 이해하는 것.
• 인지적 거리가 인간의 유사도 예측에 더 우수함에도 불구하고 자동에코더 학습에서 항상 유클리드 손실보다 성능이 뛰어나지 않는 이유를 탐구하는 것.
• 작은 배치 크기에서의 확률적 경사 하강법에서 데이터 분포와 손실 분산의 역할을 분석하는 것.
• 이미지 가능도와의 상관관계를 통해 외곽치를 가중치를 낮추는 방식으로 인지적 거리가 정규화 역할을 하는지 평가하는 것.
• 이미지 통계가 훈련 데이터와 인지적 손실 함수 양쪽에서 중복으로 고려되는 '이중 계산 효과'를 명확히 하는 것.

제안 방법

• 이미지 가능도를 추정하고 인지적 거리와의 상관관계를 분석하기 위해 확률적 영상 모델(PixelCNN++)을 사용한다.
• 유사도 거리의 유도를 비교하기 위해 유클리드(MSE)와 인지적(NLPD, PIM) 손실 함수를 모두 사용해 자동에코더를 훈련시킨다.
• 기울기 분산과 일반화 오차 추정을 평가하기 위해 배치 크기가 1인 확률적 경사 하강법을 적용한다.
• NLPD와 MSE 손실로 훈련된 모델 간의 기대 테스트 세트 MSE를 비교하여 일반화 성능을 평가한다.
• 다양한 손실 함수 하에서 기울기 추정기의 표준 오차를 분석하여 분산 감소 정도를 정량화한다.
• 재현 가능성을 확보하고 결과의 평균 및 표준편차를 보고하기 위해 고정된 랜덤 시드와 다중 실행을 사용한다.

실험 결과

연구 질문

• RQ1 인지적 거리는 자연 영상의 확률 분포와 어떻게 관련이 있는가?
• RQ2 자동에코더에 의해 유도된 거리는 인간의 인지적 유사도와 어느 정도 상관관계가 있는가?
• RQ3 왜 인지적 거리는 영상 복원 작업에서 항상 MSE보다 성능이 뛰어나지 않는가?
• RQ4 인지적 손실 사용이 작은 배치 크기 학습에서 기울기 추정 분산에 어떤 영향을 미치는가?
• RQ5 이중 계산 효과가 인지적 손실 성능에 어떤 역할을 하는가?

주요 결과

• NLPD 및 PIM와 같은 인지적 거리는 PixelCNN++로 추정한 이미지 가능도와 강하게 상관관계가 있음을 보여, 인지적 유사도와 자연 영상 통계 간의 깊은 연관성을 시사한다.
• MSE 손실로 훈련된 자동에코더에 의해 유도된 거리는 훈련 이미지의 가능도와 매우 높은 상관관계를 보이며, 이는 모델이 데이터 밀도와 일치하는 표현을 학습하고 있음을 시사한다.
• 자료가 부족한 경우, NLPD와 같은 인지적 거리는 가능도가 낮은(이상치에 가까운) 샘플을 암묵적으로 가중치를 낮추는 방식으로 정규화 효과를 발휘하여 MSE보다 더 우수한 일반화 성능을 보인다.
• 작은 배치 크기에서 NLPD가 MSE보다 성능이 뛰어나지 않는 이유는 기울기 분산이 감소하기 때문이다. 인지적 거리는 이미지 가능도와 상관관계가 있어 기울기 추정기를 안정화하기 때문이다.
• 인간의 유사도 예측 성능이 뛰어나도 인지적 거리는 항상 복원 성능을 향상시키지 못하는 이유는 이미지 통계가 데이터와 손실 함수 양쪽에서 중복으로 고려되기 때문이다.
• 특히 배치 크기가 1일 경우, NLPD를 사용할 때 MSE보다 기울기 추정기의 표준 오차가 낮아 일반화 오차 추정의 정확도가 향상됨을 입증한다.