[논문 리뷰] Texture Interpolation for Probing Visual Perception

Jonathan Vacher, Aida Davila외 2명|arXiv (Cornell University)|2020. 06. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 64인용 수 8

한 줄 요약

이 논문은 깊이 학습 컨volution 신경망(CNN) 활성화에 최적화된 운반 이론을 적용한 새로운 텍스처 보간 방법을 제안하며, 텍스처 분포가 타원형 분포로 잘 근사됨을 보여준다. 이 방법은 시각적으로 매끄러운 텍스처 간 보간을 가능하게 하며, 인간 및 마카크 뇌 신경 데이터는 V4 피질 세포가 보간 매개변수를 선형적으로 인코딩하는 반면 V1은 그렇지 않음을 확인하여, 텍스처 인식 기하학의 신경 기반을 드러낸다.

ABSTRACT

Texture synthesis models are important tools for understanding visual processing. In particular, statistical approaches based on neurally relevant features have been instrumental in understanding aspects of visual perception and of neural coding. New deep learning-based approaches further improve the quality of synthetic textures. Yet, it is still unclear why deep texture synthesis performs so well, and applications of this new framework to probe visual perception are scarce. Here, we show that distributions of deep convolutional neural network (CNN) activations of a texture are well described by elliptical distributions and therefore, following optimal transport theory, constraining their mean and covariance is sufficient to generate new texture samples. Then, we propose the natural geodesics (ie the shortest path between two points) arising with the optimal transport metric to interpolate between arbitrary textures. Compared to other CNN-based approaches, our interpolation method appears to match more closely the geometry of texture perception, and our mathematical framework is better suited to study its statistical nature. We apply our method by measuring the perceptual scale associated to the interpolation parameter in human observers, and the neural sensitivity of different areas of visual cortex in macaque monkeys.

연구 동기 및 목표

• 딥 뉴럴 네트워크 활성화 기반으로 수학적으로 타당한 텍스처 보간 방법을 개발하는 것.
• 시각 피질의 텍스처 인식과 신경 인코딩이 텍스처 공간 기하학과 어떻게 관련되어 있는지 조사하는 것.
• 기존 방법과 비교해 최적화된 운반 이론에 기반한 보간 경로가 인간의 인지 반응과 신경 반응을 더 잘 일치시키는지 테스트하는 것.
• MLDS 프로토콜을 사용해 인간 관측자에서 텍스처 보간의 인지 척도를 측정하는 것.
• 마카크 원숭이의 시각 피질 영역(V1 대비 V4) 간 보간 매개변수에 대한 신경 감도를 비교하는 것.

제안 방법

• 텍스처의 모델링 분포를 CNN 활성화 통계(평균 및 공분산) 공간 내 타원형 분포로 간주한다.
• 최적화된 운반 이론을 적용해 이러한 분포 공간에 리만 기하학적 거리 척도를 정의함으로써, 텍스처 간 지오데식 보간을 가능하게 한다.
• 텍스처 합성 및 보간을 위한 손실 함수로 활성화 분포 간 워샤르의 거리를 사용한다.
• CNN 특징의 평균 및 공분산 벡터 공간에서 선형 보간을 수행해 중간 텍스처를 생성한다.
• 선형 판별 분석(LDA)을 사용해 신경 맥박 신호 및 맥박 수에서 보간 매개변수를 복원한다.
• 인간 관측자에서 보간의 전체 인지 척도를 측정하기 위해 MLDS(최대가능도 차이 척도) 프로토콜을 사용한다.

실험 결과

연구 질문

• RQ1 최적화된 운반 이론에 기반한 텍스처 간 보간이 인간의 인지와 일치하는 시각적으로 매끄러운 전환을 생성하는가?
• RQ2 V1과 V4의 뉴런은 보간 매개변수에 대해 다르게 민감한가, 그리고 이러한 민감도는 텍스처 공간 기하학의 신경 인코딩을 반영하는가?
• RQ3 CNN 활성화 통계로 정의된 텍스처 공간의 기하학이 인지 반응과 신경 반응을 예측할 수 있는가?
• RQ4 훈련된 CNN와 미훈련된 CNN은 보간 경로의 매끄러움과 인지 품질에 어떤 영향을 미치는가?
• RQ5 비균일한 요약 통계(예: Portilla-Simoncelli 방법의 것과 유사한)보다 평균 및 공분산과 같은 균일한 특징 공간을 사용할 경우, 텍스처 인식 모델링이 향상되는가?

주요 결과

• 텍스처에 대한 CNN 활성화 분포는 타원형 분포로 잘 근사되며, 평균과 공분산이 충분 통계로 사용될 수 있음을 뒷받침한다.
• CNN 활성화 통계 공간에서 최적화된 운반 이론을 통한 보간은 텍스처 간 시각적으로 매끄러운 전환을 생성한다.
• 인간 관측자는 MLDS 프로토콜을 통해 보간에 대해 선형 인지 척도를 보이며, 이는 텍스처 공간의 일관된 인지 샘플링을 나타낸다.
• V4의 뉴런은 맥박 수와 전체 맥박 신호 양쪽 모두에서 보간 매개변수에 대해 강력하고 선형적인 복원 성능를 보이며, 이는 텍스처 전환의 동적 인코딩을 나타낸다.
• V1의 뉴런은 보간 매개변수에 대해 유의미한 복원 성능를 보이지 않으며, 이는 중간 텍스처 상태에 대한 민감도가 부족함을 시사한다.
• 훈련된 CNN은 미훈련된 CNN보다 더 매끄러운 보간 경로를 생성하며, 이러한 경로는 정적이고 균일한 텍스처로 구성되어 있어 만만한 다양성 근사화를 나타낸다.