[논문 리뷰] High-contrast "gaudy" images improve the training of deep neural network models of visual cortex

Benjamin R. Cowley, Jonathan W. Pillow|arXiv (Cornell University)|2020. 06. 13.

Image Processing Techniques and Applications참고 문헌 59인용 수 4

한 줄 요약

이 논문은 자연 이미지의 고대비, 이진화된 버전인 '화려한 이미지'(gaudy images)를 시각 피질 뉴런의 딥 네ural 네트워크(DNN) 리더아웃 모델 훈련을 위한 자료 효율적인 전략으로 제안한다. 평균 밝기 수준에서 이진 임계값을 적용함으로써 픽셀 분산을 최대화함으로써 화려한 이미지는 윤곽선과 고대비 특징을 과도하게 강조하여, 높은 예측 정확도를 달성하기 위해 필요한 훈련 이미지 수를 크게 줄인다. 일부 경우에서는 활성 학습 방법조차도 뛰어넘는 성능을 보인다.

ABSTRACT

A key challenge in understanding the sensory transformations of the visual system is to obtain a highly predictive model of responses from visual cortical neurons. Deep neural networks (DNNs) provide a promising candidate for such a model. However, DNNs require orders of magnitude more training data than neuroscientists can collect from real neurons because experimental recording time is severely limited. This motivates us to find images that train highly-predictive DNNs with as little training data as possible. We propose gaudy images---high-contrast binarized versions of natural images---to efficiently train DNNs. In extensive simulation experiments, we find that training DNNs with gaudy images substantially reduces the number of training images needed to accurately predict the simulated responses of visual cortical neurons. We also find that gaudy images, chosen before training, outperform images chosen during training by active learning algorithms. Thus, gaudy images overemphasize features of natural images, especially edges, that are the most important for efficiently training DNNs. We believe gaudy images will aid in the modeling of visual cortical neurons, potentially opening new scientific questions about visual processing, as well as aid general practitioners that seek ways to improve the training of DNNs.

연구 동기 및 목표

• 정확한 시각 피질 반응 DNN 모델을 훈련하기 위해 필요한 실험적 신경 기록 데이터의 양을 줄이기 위해.
• 특히 자료 부족 상황에서 훈련 중 정보 수득을 극대화하는 이미지 자극을 특정하기 위해.
• 미리 선정된 고대비 이미지가 적응형으로 학습된 자극보다 DNN 리더아웃 모델 훈련에서 뛰어난 성능을 보일 수 있는지 테스트하기 위해.
• 화려한 이미지가 물체 인식 작업에서 데이터 증강 및 전이 학습에 유용한지 평가하기 위해.

제안 방법

• 자연 이미지의 각 색상 채널을 이진화하여 화려한 이미지를 생성: 이미지의 평균 밝기 이하일 경우 픽셀 강도를 0으로, 초과할 경우 255로 설정.
• 시뮬레이션된 시각 피질 뉴런의 반응을 예측하는 것을 목표로 하여, 화려한 이미지를 입력으로 사용해 DNN 리더아웃 모델을 훈련.
• 여러 DNN 아키텍처와 사전 훈련된 모델(VGG19, ResNet-50 등)을 대상으로, 화려한 이미지와 활성 학습(예: 풀 기반, 코어셋, 앙상블 기반 방법)으로 선택된 이미지 간 성능을 비교.
• 백프로파게이션을 사용해 기울기를 분석하고, 어떤 이미지 특징(예: 윤곽선)이 리더아웃 네트워크에서 가장 정보적인 업데이트를 유도하는지 파악.
• 정규 이미지와 화려한 이미지의 ImageNet 사전 훈련된 DNN에서의 상위 5개 예측 클래스를 비교하여 데이터 증강 잠재력을 평가.
• 화려한 이미지와 정규 이미지 세트 간의 클래스 불균형을 제어하기 위해 예측 클래스 확률을 정규화.

실험 결과

연구 질문

• RQ1 훈련 이전에 생성된 화려한 이미지가 시각 피질 반응 DNN 리더아웃 모델 훈련에서 활성적으로 선택된 이미지보다 뛰어난 성능을 보일 수 있는가?
• RQ2 화려한 이미지는 DNN 모델에서 높은 예측 정확도를 달성하기 위해 필요한 훈련 이미지 수를 어느 정도 줄일 수 있는가?
• RQ3 윤곽선, 질감 등 어떤 이미지 특징이 DNN 리더아웃 네트워크 훈련에 가장 정보적이며, 화려한 이미지는 이러한 특징을 과도하게 강조하는가?
• RQ4 자연 이미지와의 구조적 유사성 때문에 화려한 이미지가 물체 인식 작업에서 데이터 증강에 적합한가?
• RQ5 사전 훈련된 DNN가 화려한 이미지와 자연 이미지에 대해 일관된 분류 출력을 유지하는가?

주요 결과

• 화려한 이미지는 시각 피질 뉴런의 DNN 리더아웃 모델 훈련에서 높은 예측 정확도를 달성하기 위해 필요한 훈련 이미지 수를 줄이며, 표준 자연 이미지보다 뚜렷하게 뛰어난 성능을 보인다.
• 화려한 이미지는 훈련 이전에 선택되었음에도 불구하고, 시뮬레이션된 V4 뉴런의 반응을 예측하는 데 있어 활성 학습 알고리즘의 성능을 뛰어나거나 동등하게 유지한다.
• 훈련 성능 향상의 주요 원인은 화려한 이미지에서 고대비 윤곽선이 과도하게 강조되어 백프로파게이션 중 큰 정보성 기울기를 생성하기 때문이다.
• 여러 사전 훈련된 DNN에서 화려한 이미지의 상위 5개 예측 클래스 중 적어도 하나가 자연 이미지와 일치하는 경우가 유의미하게 높은 비율(p < 0.001)을 차지하여, 데이터 증강에의 유용성을 시사한다.
• 분류 유사성에서 뛰어난 성능를 보였음에도 불구하고, 화려한 이미지는 특정 클래스(예: 400–1000)에 집중된 예측 클래스 확률을 보이며, 이는 클래스별 오분류 위험을 암시할 수 있다.
• 결과적으로 화려한 이미지는 자료가 제한된 상황에서 DNN 훈련에 특히 효과적이며, 뉴런 과학 및 시각 응용 분야에서 활성 학습의 저비용 대안으로 강력하게 활용될 수 있다.