[논문 리뷰] Towards Metamerism via Foveated Style Transfer

Arturo Deza, Aditya Jonnalagadda외 1명|arXiv (Cornell University)|2017. 01. 01.

Generative Adversarial Networks and Image Synthesis인용 수 8

한 줄 요약

이 논문은 VGG19 기반의 인코더-디코더와 적응형 인스턴스 정규화를 사용하여 인간에게는 구분할 수 없지만 물리적으로는 다른 이미지인 시각적 메타머를 생성하는 푸코카이드(foveated) 생성 모델인 NeuroFovea를 소개한다. 푸코카이드 처리와 노이즈에 강건한 최적화 기법을 활용하여, 이전 연구 대비 최대 1000배 빠른 속도로 메타머를 생성함으로써, 샘플당 약 1초 내외로 데이터 기반 메타머 실험을 실현 가능하게 한다.

ABSTRACT

The problem of $ extit{visual metamerism}$ is defined as finding a family of perceptually indistinguishable, yet physically different images. In this paper, we propose our NeuroFovea metamer model, a foveated generative model that is based on a mixture of peripheral representations and style transfer forward-pass algorithms. Our gradient-descent free model is parametrized by a foveated VGG19 encoder-decoder which allows us to encode images in high dimensional space and interpolate between the content and texture information with adaptive instance normalization anywhere in the visual field. Our contributions include: 1) A framework for computing metamers that resembles a noisy communication system via a foveated feed-forward encoder-decoder network -- We observe that metamerism arises as a byproduct of noisy perturbations that partially lie in the perceptual null space; 2) A perceptual optimization scheme as a solution to the hyperparametric nature of our metamer model that requires tuning of the image-texture tradeoff coefficients everywhere in the visual field which are a consequence of internal noise; 3) An ABX psychophysical evaluation of our metamers where we also find that the rate of growth of the receptive fields in our model match V1 for reference metamers and V2 between synthesized samples. Our model also renders metamers at roughly a second, presenting a $ imes1000$ speed-up compared to the previous work, which allows for tractable data-driven metamer experiments.

연구 동기 및 목표

• 푸코카이드 시각 처리를 활용하여, 인간에게는 구분할 수 없지만 물리적으로는 다른 이미지인 시각적 메타머를 생성할 수 있는 빠르고 미분 가능한 프레임워크를 개발하는 것.
• 시각 영역 전반에 걸쳐 이미지-텍스처 트레이드오프 계수의 초모수 민감도 문제를 인지적 최적화 기법을 통해 해결하는 것.
• 인지적 노이즈의 영역(null space) 내에서의 노이즈를 통해 메타머리즘을 비산물로 모델링하여, 노이즈가 있는 통신 시스템을 모방하는 것.
• 생성된 메타머의 생물학적 타당성을 검증하기 위해, 인간의 시각 영역 V1과 V2와의 수용체 영역 성장 패턴을 일치시키는 것.
• 생성 시간을 수 시간에서 1초 이내로 단축시켜 스케일러블하고 데이터 기반의 메타머 실험을 가능하게 하는 것.

제안 방법

• 모델는 시각 영역 전반에서 해상도를 가변적으로 처리하는 푸코카이드 VGG19 인코더-디코더 아키텍처를 사용하여, 중심부(푸코아)에는 고해상도 처리를, 주변부에는 저해상도 처리를 적용한다.
• 콘텐츠 및 텍스처 특징는 시각 영역 전반에서 적응형 인스턴스 정규화(AdaIN)를 사용하여 보간되며, 이로써 이미지-텍스처 트레이드오프를 제어할 수 있다.
• 기울기 하강 최적화를 필요로 하지 않는 정방향 전파를 통해 메타머를 생성함으로써, 고비용 최적화 루프를 피하고 실시간 추론을 가능하게 한다.
• 인지적 최적화 기법을 통해 시각 영역 전반의 이미지-텍스처 트레이드오프 계수를 조정하여 내부 노이즈와 초모수 민감도 문제를 보완한다.
• 모델의 수용체 영역을 분석하여 인간의 V1과 V2와의 성장률을 비교하고, ABX 심리물리적 평가를 통해 인지적 유사성을 검증한다.
• 인지적 노이즈 영역(null space)에 노이즈 변형을 도입함으로써, 푸코카이드 표현 학습의 부산물로써 메타머리즘이 자연스럽게 발생하도록 한다.

실험 결과

연구 질문

• RQ1 푸코카이드이고 피드포워드인 신경망이 기울기 하강 최적화 없이도 인간에게 구분할 수 없는 메타머를 생성할 수 있는가?
• RQ2 인지적 노이즈 영역 내에서 노이즈의 분포가 어떻게 메타머릭 이미지 쌍을 유도하는가?
• RQ3 모델의 수용체 영역 성장 패턴이 인간의 시각 영역 V1과 V2와 얼마나 유사한가?
• RQ4 내부 노이즈가 존재함에도 불구하고, 인지적 최적화 기법이 이미지-텍스처 트레이드오프를 시각 영역 전반에서 효과적으로 조정할 수 있는가?
• RQ5 제안된 모델은 이전의 메타머 생성 방법에 비해 얼마나 높은 계산 효율성을 확보하는가?

주요 결과

• NeuroFovea 모델은 샘플당 약 1초 내외로 메타머를 생성하여, 이전의 기울기 기반 방법 대비 약 1000배의 속도 향상을 달성한다.
• 모델이 생성한 메타머는 기준 메타머에 대해 인간 V1의 수용체 영역 성장률과 유사하고, 합성 샘플에 대해서는 V2의 성장률과 유사하게 나타난다.
• 인지적 최적화 기법은 시각 영역 전반의 이미지-텍스처 트레이드오프 계수를 조정하여 초모수 민감도 문제를 효과적으로 완화시켰다.
• 모델의 푸코카이드 아키텍처는 적응형 인스턴스 정규화를 통해 고차원의 콘텐츠 및 텍스처 특징를 효율적으로 인코딩하고 보간할 수 있었다.
• ABX 심리물리적 평가 결과, 생성된 메타머가 인지적으로 구분 불가능함을 확인하여, 모델이 인간의 시각 인지 인식을 효과적으로 시뮬레이션하고 있음을 검증하였다.
• 메타머리즘은 푸코카이드 표현의 인지적 노이즈 영역 내에 존재하는 노이즈 변형의 부산물로 자연스럽게 발생함을 확인하였다.