[논문 리뷰] The Unreasonable Effectiveness of Deep Features as a Perceptual Metric

Richard Zhang, Phillip Isola외 3명|arXiv (Cornell University)|2018. 01. 11.

Advanced Image Processing Techniques참고 문헌 54인용 수 809

한 줄 요약

다양한 아키텍처와 감독 수준의 심층 특징이 인간의 지각적 유사도를 전통적 지표보다 훨씬 잘 예측하며, 왜곡 및 실제 알고리즘에 걸친 인간 판단과의 정렬을 개선하기 위해 보정될 수 있다.

ABSTRACT

While it is nearly effortless for humans to quickly assess the perceptual similarity between two images, the underlying processes are thought to be quite complex. Despite this, the most widely used perceptual metrics today, such as PSNR and SSIM, are simple, shallow functions, and fail to account for many nuances of human perception. Recently, the deep learning community has found that features of the VGG network trained on ImageNet classification has been remarkably useful as a training loss for image synthesis. But how perceptual are these so-called "perceptual losses"? What elements are critical for their success? To answer these questions, we introduce a new dataset of human perceptual similarity judgments. We systematically evaluate deep features across different architectures and tasks and compare them with classic metrics. We find that deep features outperform all previous metrics by large margins on our dataset. More surprisingly, this result is not restricted to ImageNet-trained VGG features, but holds across different deep architectures and levels of supervision (supervised, self-supervised, or even unsupervised). Our results suggest that perceptual similarity is an emergent property shared across deep visual representations.

연구 동기 및 목표

• 깊은 특징 표현이 인간의 지각적 유사성 판단과 얼마나 잘 정렬되는지 동기를 부여하고 정량화한다.
• 왜곡과 실제 알고리즘에 걸친 메트릭을 평가하기 위한 크고 다양한 perceptual similarity 데이터셋(BAPPS)을 만든다.
• 감독, 자기지도, 무지도 모델의 심층 특징을 평가하고 이 특징의 보정을 시험한다.
• 아키텍처가 아니라 학습 신호가 지각 정렬을 좌우하는지 여부를 평가한다(단순히 ImageNet이 아니라).
• 사전 학습된 특징의 선형 보정이 지각 거리 측정을 개선하는지 여부를 탐구한다.

제안 방법

• 64x64 패치에 대해 2AFC 및 JND 판단을 갖춘 Berkeley-Adobe Perceptual Patch Similarity (BAPPS) 데이터셋을 도입한다.
• 채널 활성화를 정규화하고, 계층별 채널 가중치를 적용하고, 공간 및 계층 간에 집계하여 deep feature 공간에서 패치 간 거리를 계산한다(LPIPS 프레임워크).
• 다양한 아키텍처(SqueezeNet, AlexNet, VGG)와 감독 신호(감독, 자기지도, 무지도)를 평가한다.
• LPIPS에 대한 세 가지 학습 구성으로 실험한다: lin(고정 특징의 선형 보정), tune(사전 학습 가중치에서 미세 조정), scratch(무작위에서 학습).
• 전통적 왜곡, CNN 기반 왜곡, 그리고 실제 알고리즘 출력(초해상도, 프레임 보간, 비디오 디블러링, 색상화)을 테스트한다.
• 거리 간 판단을 perceptual judgments에 매핑하기 위해 작은 예측기 G를 학습시켜 거리 쌍으로부터 판단의 예측 가능성을 조사한다.

실험 결과

연구 질문

• RQ1 分類된(혹은 분류학적) 사전학습된 깊은 특징들이 왜곡에 걸쳐 인간의 지각적 유사성과 일치하는가?
• RQ2 네트워크 아키텍처나 학습 신호가 지각 정렬을 주로 결정하는가, 그리고 간단한 보정으로 인간 판단과의 상관관계를 개선할 수 있는가?
• RQ3 학습된 지각 거리가 왜곡에서 실제 알고리즘 출력으로, 그리고 서로 다른 지각 테스트(2AFC 및 JND)로 일반화될 수 있는가?
• RQ4 사전 학습된 네트워크의 선형 보정으로 지각 거리를 개선할 수 있는가, 아니면 전체 미세 조정이 필요하는가?
• RQ5 깊은 특징 지각 메트릭이 다양한 왜곡에서 전통적 FR-IQA 메트릭(예: SSIM, FSIM)과 어떻게 비교되는가?

주요 결과

• 깊은 특징은 대규모의 다양하 데이터를 대상으로 인간 판단에서 전통적인 지각 메트릭보다 월등한 성능을 보인다.
• 인간은 평가된 메트릭과 약 73.9%의 일치를 보이며, 감독 네트워크는 약 67–69%, 전통 메트릭은 약 63% 수준으로 낮다.
• 아키텍처(SqueezeNet, AlexNet, VGG)와 감독 유형(감독, 자기지도, 무지도) 전반에서 깊은 특징이 추가 보정 없이도 강력한 지각 거리를 제공한다.
• 사전 학습된 네트워크의 선형 보정(LPIPS lin)은 고정 특징보다 성능을 향상시키고, 미세 조정(LPIPS tune)이 실험에 사용된 구성 중 최상의 결과를 낳으며, scratch(LPIPS scratch)는 보정보다 종종 낮다.
• 지각 판단에 대한 보정은 실제 알고리즘 출력으로 전달되어 세 네트워크와 네 가지 실제 알고리즘 작업에서 12건 중 11건의 성능을 향상시킨다.
• 지각적 유사성은 의미 예측이나 다른 자연스러운 작업을 위해 학습된 표현의 새로 등장하는 특성으로 보이며, 자기지도 및 무지도 표현도 감독된 표현과 비교할 만한 성능을 보인다.