[논문 리뷰] Towards Biologically Plausible Convolutional Networks

Roman Pogodin, Yash Mehta외 2명|arXiv (Cornell University)|2021. 06. 22.

Neural dynamics and brain function참고 문헌 38인용 수 9

한 줄 요약

이 논문은 국소적으로 연결된 네트워크에서 횡방향 연결과 헤비안 플라스티시티를 통해 동적 가중치 공유를 제안하여 표준 합성곱 네트워크의 생물학적으로 타당한 대체 모델을 구현한다. 신경망이 주기적인 '수면 유사' 단계 동안 횡방향 연결을 통해 가중치를 공유함으로써, ImageNet에서 거의 합성곱 수준의 성능(예: 61.7% top-1 정확도)을 달성하면서 복합 시각 처리의 생물학적 모델로서의 합성곱 네트워크의 타당성을 뒷받침한다.

ABSTRACT

Convolutional networks are ubiquitous in deep learning. They are particularly useful for images, as they reduce the number of parameters, reduce training time, and increase accuracy. However, as a model of the brain they are seriously problematic, since they require weight sharing - something real neurons simply cannot do. Consequently, while neurons in the brain can be locally connected (one of the features of convolutional networks), they cannot be convolutional. Locally connected but non-convolutional networks, however, significantly underperform convolutional ones. This is troublesome for studies that use convolutional networks to explain activity in the visual system. Here we study plausible alternatives to weight sharing that aim at the same regularization principle, which is to make each neuron within a pool react similarly to identical inputs. The most natural way to do that is by showing the network multiple translations of the same image, akin to saccades in animal vision. However, this approach requires many translations, and doesn't remove the performance gap. We propose instead to add lateral connectivity to a locally connected network, and allow learning via Hebbian plasticity. This requires the network to pause occasionally for a sleep-like phase of "weight sharing". This method enables locally connected networks to achieve nearly convolutional performance on ImageNet and improves their fit to the ventral stream data, thus supporting convolutional networks as a model of the visual stream.

연구 동기 및 목표

• 표준 합성곱 네트워크에서의 가중치 공유가 국소 학습 제약 조건으로 인해 실제 신경망에서 수행될 수 없어 생물학적으로 타당하지 않다는 점을 해결하기 위해.
• 이미지 분류 작업에서 생물학적으로 타당한 국소적으로 연결된 네트워크와 표준 합성곱 네트워크 간의 성능 격차를 해소하기 위해.
• 전역적 가중치 공유가 필요 없이 가중치 공유의 인덕티브 바이어스를 구현할 수 있는 메커니즘을 개발하기 위해.
• 딥 네트워크 표현이 복합 시각 경로 신경 데이터에 더 잘 맞는 데 기여하기 위해.
• 횡방향 연결을 통한 동적 가중치 공유가 합성곱 성능을 근사하면서도 알려진 신경 과정 제약 조건과 일관성을 유지할 수 있음을 입증하기 위해.

제안 방법

• 각 층 내부에 횡방향 연결을 도입하여, 일부 신경망 집단이 활동과 가중치를 공유할 수 있도록 한다.
• 주기적인 '수면 유사' 단계 동안 헤비안 플라스티시티를 적용하여, 신경망 집단 간에 가중치를 균일화함으로써 동적 가중치 공유의 형태를 시뮬레이션한다.
• 가중치 공유의 안정성을 확보하고 발산을 방지하기 위해 반-헤비안 학습을 적용한다.
• 학습 배치마다 n 번째 배치마다 동적 가중치 공유 메커니즘을 적용하여, 공간적 위치 간에 주기적으로 가중치를 재정렬할 수 있도록 한다.
• 표준 백프로파게이션을 사용해 네트워크를 학습하지만, 가중치 공유 단계는 국소 동역학을 통해 독립적으로 작동한다.
• 다양한 하이퍼파ram터와 가중치 공유 빈도를 고려하여 CIFAR-10, CIFAR-100, TinyImageNet, ImageNet에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 전역적 가중치 공유 없이 국소적으로 연결된 네트워크가 합성곱 네트워크 수준의 성능을 달성할 수 있는가?
• RQ2 횡방향 연결과 헤비안 플라스티시티를 통한 동적 가중치 공유가 이미지 분류 작업 성능 향상에 기여하는가?
• RQ3 이 방법이 Brain-Score로 측정된 복합 시각 경로 신경 데이터에 대한 표현 적합도를 향상시킬 수 있는가?
• RQ4 성능 격차를 줄이기 위해 이미지 이동을 통한 데이터 증강과 동적 가중치 공유의 성능를 비교하면 어떻게 되는가?
• RQ5 제안된 방법이 합성곱의 인덕티브 바이어스를 근사하면서도 생물학적 타당성을 유지하는가?

주요 결과

• 횡방향 연결을 통한 동적 가중치 공유 덕분에 국소적으로 연결된 네트워크는 ImageNet에서 61.7%의 top-1 정확도를 달성했으며, 표준 합성곱 네트워크(63.5%)보다 1.8% 뿐 낮게 성과를 냈다.
• 이 방법은 특히 가중치 공유를 10배치마다 적용할 경우, 국소적으로 연결된 네트워크와 합성곱 네트워크 간의 성능 격차를 줄였다.
• CIFAR-10과 CIFAR-100에서 동적 가중치 공유 방법은 표준 국소적으로 연결된 네트워크와 다중 이동을 통한 데이터 증강보다 일관되게 뛰어난 성능을 보였다.
• Brain-Score로 측정된 복합 시각 경로 데이터에 대한 표현 적합도가 향상되어, 이는 깊은 네트워크 표현이 시각 처리의 생물학적으로 타당한 모델로 사용될 수 있음을 뒷받침한다.
• 이미지당 16번의 이동을 통한 데이터 증강은 성능 격차를 메우지 못했으며, 과도한 데이터 요구량에도 불구하고 동적 가중치 공유 방법에 비해 성능이 열등했다.
• 이 방법은 국소 학습 규칙과 횡방향 연결을 통해 생물학적 타당성을 유지하면서도 거의 합성곱 수준의 성능를 달성했다.