[논문 리뷰] Self-Supervised Learning of a Biologically-Inspired Visual Texture Model

Nikhil Parthasarathy, Eero P. Simoncelli|arXiv (Cornell University)|2020. 06. 30.

Advanced Image and Video Retrieval Techniques참고 문헌 70인용 수 4

한 줄 요약

이 논문은 고정된 V1 유사 필터와 자율학습된 V2 유사 컨볼루션 필터를 사용하여 저차원이고 불변성 있는 텍스처 표현을 생성하는 생물학적으로 영감을 받은 이단계형 시각 텍스처 모델(V2Net)을 제안한다. 서로 다른 이미지 간의 반응 비유사도를 최대화하는 새로운 대비 목표함수를 사용하여 훈련된 모델은 텍스처 분류에서 뛰어난 데이터 효율성을 보이며, 사전 훈련된 깊은 컨볼루션 신경망보다 영양소 V2 뉴런 반응과 더 높은 표현 유사성을 보인다.

ABSTRACT

We develop a model for representing visual texture in a low-dimensional feature space, along with a novel self-supervised learning objective that is used to train it on an unlabeled database of texture images. Inspired by the architecture of primate visual cortex, the model uses a first stage of oriented linear filters (corresponding to cortical area V1), consisting of both rectified units (simple cells) and pooled phase-invariant units (complex cells). These responses are processed by a second stage (analogous to cortical area V2) consisting of convolutional filters followed by half-wave rectification and pooling to generate V2 'complex cell' responses. The second stage filters are trained on a set of unlabeled homogeneous texture images, using a novel contrastive objective that maximizes the distance between the distribution of V2 responses to individual images and the distribution of responses across all images. When evaluated on texture classification, the trained model achieves substantially greater data-efficiency than a variety of deep hierarchical model architectures. Moreover, we show that the learned model exhibits stronger representational similarity to texture responses of neural populations recorded in primate V2 than pre-trained deep CNNs.

연구 동기 및 목표

• 영양소 V1과 V2皮질 처리를 모방하는 저차원, 생물학적으로 영감을 받은 시각 텍스처 표현 모델을 개발하는 것.
• 새로운 대비 목표함수를 사용한 자율학습을 통해 텍스처 분류의 데이터 효율성 문제를 해결하는 것.
• 인공 모델과 실제 영양소 V2 신경 집단 간의 표현 유사성을 향상시키는 것, 특히 중간 시각 처리에 초점을 맞추어.
• 비모수적 대비 방법보다 더 생물학적으로 타당한 파라미터화된 온라인 학습 목표함수를 탐색하는 것.
• 조기 및 만기 시각 영역에 비해 부족한 중간 시각 영역(예: V2)의 계산 모델링 격차를 메우는 것.

제안 방법

• 모델은 이단계 아키텍처를 사용한다: 고정된 V1 단계는 40개의 방향성 Gabor 유사 필터(4 방향 × 5 스케일 × 2 단계)를 사용하며, 반파계정 rectification과 L2 풀링을 통해 60개의 특징 맵을 생성한다.
• V2 단계는 V1 출력에 적용되는 D=60개의 학습된 컨볼루션 필터로 구성되며, 이는 반파계정 rectification과 공간 L2 풀링을 거쳐 V2 유사 복합 세포 반응을 생성한다.
• 새로운 자율학습 대비 목표함수가 도입되었으며, 이는 각 이미지의 V2 반응 분포와 모든 이미지에 대한 전역 분포 간의 거리를 최대화하는 것을 목표로 한다.
• 목표함수는 V2 반응의 평균과 공분산 통계량을 사용하여 파라미터화되어 있으며, 온라인 순차적 업데이트가 가능하고 저자료 환경에서의 일반화 성능 향상에 기여한다.
• 저차원 특징 공간(60D)과 이차 변환 기반 비선형 디코더를 사용하여 시각 시스템의 계층적 처리를 모델링한다.
• 모델은 동질적인 텍스처 이미지의 레이블이 없는 데이터셋에서 훈련되며, 향후 국소 공간 일관성 제약 조건을 도입하여 자연 풍경으로의 확장 계획이 수립되어 있다.

실험 결과

연구 질문

• RQ1 고정된 V1과 학습된 V2 필터를 갖춘 생물학적으로 영감을 받은 이단계 모델이 텍스처 분류에서 높은 데이터 효율성을 달성할 수 있는가?
• RQ2 반응 분포 통계량 기반의 자율학습 대비 목표함수가 저자료 환경에서 표현 학습에 기여하는가?
• RQ3 학습된 모델의 표현이 실제 영양소 V2 뉴런의 반응 패턴과 얼마나 유사한가?
• RQ4 저차원이고 해석 가능한 모델이 생물학적 신경 집단과의 표현 유사성에서 깊은 CNN을 능가할 수 있는가?
• RQ5 계층적 시각 표현 학습에 있어 비모수적 대비 방법보다 파라미터화된 온라인 학습 목표함수가 더 생물학적으로 타당한가?

주요 결과

• V2Net 모델은 저차원(60D) 특징 공간에도 불구하고 다양한 깊은 계층적 아키텍처보다 훨씬 높은 데이터 효율성을 보이며 텍스처 분류 성능을 달성한다.
• 모델은 사전 훈련된 깊은 컨볼루션 신경망보다 영양소 V2 신경 집단 반응과 유의미하게 높은 표현 유사성을 보인다.
• 평균과 공분산 통계량을 사용하여 상이한 이미지 간의 반응 비유사도를 최대화하는 새로운 대비 학습 목표함수는 소규모 훈련 데이터로도 높은 성능을 달성하는 데 핵심적인 역할을 하였다.
• V2 단계의 입력으로 V1 단계의 단순 세포 및 복합 세포 반응을 모두 포함시키는 것은 강건한 텍스처 표현 학습에 기능적 이점을 제공한다.
• 모델의 파라미터화된 온라인 학습 목표함수 덕분에 전체 전역 데이터 분포를 저장하지 않고도 생물학적으로 타당한 순차적 업데이트가 가능하다.
• 반응 공간에서 공간 일관성 제약 조건을 적용함으로써 계층적 모델 및 자연 풍경 학습으로의 확장 가능성이 보여졌다.