[논문 리뷰] Local Unsupervised Learning for Image Analysis

Lea T. Grinberg, J. J. Hopfield외 1명|arXiv (Cornell University)|2019. 08. 14.

Advanced Image and Video Retrieval Techniques참고 문헌 18인용 수 7

한 줄 요약

이 논문은 백프로파게이션 없이 하향식 히브시안 스타일의 가중치 갱신만을 사용하여 컨volutional neural networks를 훈련시키는 국소적이고 비지도 학습 알고리즘을 제안한다. 패치 정규화와 급격한 비선형성을 조합함으로써, 이 방법은 CIFAR-10과 ImageNet-32에서 종단간 백프로파게이션으로 훈련된 네트워크와 유사한 분류 정확도를 달성하며, 이는 국소적 학습이 레이블이 없는 데이터로부터 강력한 일반화 표현을 생성할 수 있음을 보여준다.

ABSTRACT

Local Hebbian learning is believed to be inferior in performance to end-to-end training using a backpropagation algorithm. We question this popular belief by designing a local algorithm that can learn convolutional filters at scale on large image datasets. These filters combined with patch normalization and very steep non-linearities result in a good classification accuracy for shallow networks trained locally, as opposed to end-to-end. The filters learned by our algorithm contain both orientation selective units and unoriented color units, resembling the responses of pyramidal neurons located in the cytochrome oxidase 'interblob' and 'blob' regions in the primary visual cortex of primates. It is shown that convolutional networks with patch normalization significantly outperform standard convolutional networks on the task of recovering the original classes when shadows are superimposed on top of standard CIFAR-10 images. Patch normalization approximates the retinal adaptation to the mean light intensity, important for human vision. We also demonstrate a successful transfer of learned representations between CIFAR-10 and ImageNet 32x32 datasets. All these results taken together hint at the possibility that local unsupervised training might be a powerful tool for learning general representations (without specifying the task) directly from unlabeled data.

연구 동기 및 목표

• 국소적 학습이 표현 학습에 있어 백프로파게이션보다 劣열하다는 일반적인 믿음을 도전하기 위해.
• 레이블이 없는 이미지 데이터에서 직접 컨volution 필터를 학습할 수 있는 확장 가능한 국소적 비지도 알고리즘을 설계하기 위해.
• 패치 정규화와 급격한 비선형성을 사용한 국소적 학습이 임무에 특화된 오차 신호 없이 일반화 가능한 특징을 생성할 수 있는지 조사하기 위해.
• CIFAR-10과 ImageNet-32 간에 학습된 표현의 이식 가능성 평가하기 위해.
• 학습된 필터가 영장류 V1 케이스 조직 구조와 생물학적으로 타당한지 탐색하기 위해.

제안 방법

• 알고리즘은 이미지 패치 내에서 순서가 매겨진 활성화에 기반해 컨볼루션 필터 가중치를 갱신하는 국소적 히브시안 스타일의 학습 규칙을 사용한다.
• 각 훈련 배치는 입력 이미지에서 무작위로 섞고 겹치지 않는 크기의 W×W×3 패치로 구성된다.
• 학습 규칙은 희소하고, 승자 토커스 메이저 활성화 함수를 사용하여 상위 및 하위 순위 채널에만 비영이 아닌 기울기가 적용된다.
• 패치 정규화는 각 패치에 적용되어 평균 빛 강도에 대한 망막 적응을 시뮬레이션하며, 조명 변화에 대한 강건성을 향상시킨다.
• 매우 급격한 비선형성이 활성화 함수에 사용되어 기능 선택성을 향상시키며, 케라탈 반응 역학을 모방한다.
• 네트워크는 단계별로 훈련된다: 먼저 국소 학습을 통해 컨볼루션 필터를 훈련하고, 그 후 표준 SGD를 사용하여 상위 레이어 분류기만 훈련하며, 특징 추출기의 백프로파게이션은 수행하지 않는다.

실험 결과

연구 질문

• RQ1 순수하게 국소적 비지도 학습 알고리즘이 백프로파게이션 없이도 이미지 데이터셋에서 경쟁적인 분류 정확도를 달성할 수 있는 컨볼루션 필터를 훈련시킬 수 있는가?
• RQ2 패치 정규화는 그림의 그림자와 같은 조명 변화에 대해 성능을 어떻게 향상시키는가?
• RQ3 CIFAR-10과 ImageNet-32와 같은 서로 다른 데이터셋 간에 국소 비지도 학습을 통해 학습된 표현을 얼마나 잘 이식할 수 있는가?
• RQ4 국소 알고리즘에 의해 학습된 필터는 영장류 V1의 구조(예: 블롭 및 인터블롭 영역)와 유사한 功能적 조직을 보이는가?
• RQ5 패치 정규화와 급격한 비선형성 같은 아키텍처 구성 요소를 포함할 경우, 국소 학습의 성능이 종단간 백프로파게이션과 유사한가?

주요 결과

• 제안된 국소 비지도 학습 알고리즘은 유사한 아키텍처와 크기의 종단간 백프로파게이션으로 훈련된 네트워크와 동일한 분류 정확도를 CIFAR-10에서 달성한다.
• ImageNet-32에서는 약간 낮지만 동일한 범위 내의 정확도를 달성하여 확장성과 경쟁력을 입증한다.
• 패치 정규화는 그림자가 있는 CIFAR-10 테스트 세트에서 성능을 크게 향상시켜 표준 컨볼루션 네트워크를 압도한다.
• 알고리즘에 의해 학습된 필터는 방향 선택성과 색감 민감도를 갖춘 명확한 기능적 분리가 이루어져 영장류 V1의 블롭 및 인터블롭 경로와 유사하다.
• CIFAR-10과 ImageNet-32 간의 전이 학습은 성공적이며, 한 데이터셋에서 미리 훈련된 모델이 상위 레이어 분류기만 SGD로 미세조정함으로써 다른 데이터셋에서 양호한 성능을 달성한다.
• 데이터 증강, 드롭아웃, 전처리 없이도 강력한 성능을 달성하여 학습된 특징의 강건성을 강조한다.