[논문 리뷰] Continual Learning with Deep Artificial Neurons

Blake Camp, Jaya Krishna Mandivarapu외 1명|arXiv (Cornell University)|2020. 11. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 5

한 줄 요약

이 논문은 각 인공 뉴런을 공유된 메타학습된 파rameter 벡터인 '뉴런형질'이라고 부르는 동일한 구조를 가진 깊이 신경망으로 대체한 Deep Artificial Neurons (DANs)를 제안한다. 표준 네트워크에 DANs를 통합하고, 경험 재생이나 별도의 훈련 단계 없이 지속적 학습에서 최소한의 기억 상실을 달성하기 위해 메타목표를 최적화하기 위해 역전파를 사용함으로써, 모델은 순차적 작업 간에 안정적인 학습을 달성한다. 이는 뉴런의 천연적인 구조가 인공 네트워크에서 종신적 학습을 가능하게 할 수 있음을 보여준다.

ABSTRACT

Neurons in real brains are enormously complex computational units. Among other things, they're responsible for transforming inbound electro-chemical vectors into outbound action potentials, updating the strengths of intermediate synapses, regulating their own internal states, and modulating the behavior of other nearby neurons. One could argue that these cells are the only things exhibiting any semblance of real intelligence. It is odd, therefore, that the machine learning community has, for so long, relied upon the assumption that this complexity can be reduced to a simple sum and fire operation. We ask, might there be some benefit to substantially increasing the computational power of individual neurons in artificial systems? To answer this question, we introduce Deep Artificial Neurons (DANs), which are themselves realized as deep neural networks. Conceptually, we embed DANs inside each node of a traditional neural network, and we connect these neurons at multiple synaptic sites, thereby vectorizing the connections between pairs of cells. We demonstrate that it is possible to meta-learn a single parameter vector, which we dub a neuronal phenotype, shared by all DANs in the network, which facilitates a meta-objective during deployment. Here, we isolate continual learning as our meta-objective, and we show that a suitable neuronal phenotype can endow a single network with an innate ability to update its synapses with minimal forgetting, using standard backpropagation, without experience replay, nor separate wake/sleep phases. We demonstrate this ability on sequential non-linear regression tasks.

연구 동기 및 목표

• 개별 인공 뉴런의 계산 복잡도를 증가시키면 깊이 신경망에서 천연적인 종신적 학습 능력을 가능하게 할 수 있는가를 조사하는 것.
• 순차적 작업 학습에서의 치명적 기억 상실 문제를 해결하기 위해, 단지 시냅스 가중치 최적화에 의존하는 것이 아니라 구조화된 깊이 뉴런 기능을 통합하는 것.
• 모든 DANs에 공통된 하나의 파arameter 벡터(뉴런형질)가 디플로이먼트 중 메타목표—특히 지속적 학습—을 촉진할 수 있는가를 탐색하는 것.
• 벡터화된 시냅스 연결과 파arameter 공유가 지속적 학습의 효율성과 안정성에 미치는 영향을 평가하는 것.
• 뉴런 자체가 높은 계산 능력을 지닌 단위일 경우, 역전파가 기억 보존 업데이트에 효과적으로 활용될 수 있는가를 보여주는 것.

제안 방법

• 표준 순전파 네트워크의 각 인공 뉴런은 공유된 파arameter를 가진 깊이 신경망인 Deep Artificial Neuron (DAN)으로 대체된다.
• DAN들은 벡터화된 시냅스 연결을 통해 연결되며, 각 전방 뉴런이 후방 뉴런에게 고차원 벡터를 전송함으로써 입력 차원을 증가시킨다.
• 모든 DANs에 걸쳐 메타학습된 단일 공유 파arameter 벡터인 '뉴런형질'이 존재하며, 이는 순차적 작업 학습 중 기억 손실 최소화라는 메타목표를 최적화하기 위해 사용된다.
• 메타학습은 비선형 회귀 작업의 시퀀스를 대상으로 역전파를 사용하여 수행되며, 모든 작업에 걸친 누적 기억 손실 최소화를 목표로 한다.
• 디플로이먼트 단계에서는 메타학습된 형질이 고정되고, 경험 재생이나 별도의 단계 없이 표준 역전파를 통해 작업별 학습이 수행된다.
• 모델은 메타학습된 vs. 무작위 형질, 파arameter 공유 유무에 따라 다양한 네트워크 아키텍처에서 평가된다.

실험 결과

연구 질문

• RQ1 공유된 뉴런형질을 가진 깊이 및 파arameter화된 뉴런(DANs)을 표준 네트워크에 통합하면, 최소한의 기억 상실을 동반한 지속적 학습이 가능할까?
• RQ2 DANs 간의 시냅스 연결을 벡터화하면 지속적 학습을 위한 메타최적화 효율성이 향상되는가?
• RQ3 모든 뉴런에 동일한 메타학습된 뉴런형질을 사용할 경우, 순차적 작업 학습 중 기억 손실 최소화 측면에서 무작위 또는 비공유 파arameter 설정을 능가할 수 있는가?
• RQ4 경험 재생이나 별도의 웨이크/슬립 단계 없이 표준 역전파를 사용해 안정적인 지속적 학습을 달성할 수 있는가?
• RQ5 개별 뉴런의 계산 복잡도가 메타학습된 형질을 통해 구조화될 경우, 인공 네트워크에서 천연적인 학습 능력이 유도되는가?

주요 결과

• 5개의 하위 작업을 학습한 후, 메타학습된 공유 뉴런형질을 가진 모델은 모든 작업에서 약 0.03의 평균 제곱오차 수준의 최종 기억 손실을 기록하여 효과적인 지속적 학습을 보였다.
• 디플로이먼트 중 총 기억 손실 최소화 측면에서, 메타학습된 형질을 가진 모델은 형질이 무작위이거나 비공유일 경우를 포함해 뚜렷이 뛰어난 성능을 보였다. 형질이 고정되었는지 업데이트되었는지에 관계없이 동일한 결과를 얻었다.
• 메타학습 과정에서 뉴런형질이 200~300개의 메타에포크 내에 적절한 상태로 수렴함으로써, 주어진 작업 세트에 대한 효율적인 메타최적화가 가능함을 시사했다.
• 입력 차원을 증가시키는 방식으로 시냅스 연결을 벡터화함으로써, 메타학습 단계에서 기억 손실 최소화가 가속화되었으며, 이는 최적화 효율성 향상을 보여주었다.
• 단일 공유 형질을 가진 모델(net0)이 레이어별로 특화된(net1) 또는 완전히 고유한(net2) 형질을 가진 모델들과 거의 유사한 성능을 보였으며, 이는 파arameter 공유가 성능에 해를 끼치지 않으며 학습을 단순화시킬 수 있음을 시사했다.
• 결과는 메타학습된 형질을 통한 천연적이고 구조화된 뉴런 기능 통합이 경험 재생이나 특수 훈련 단계 없이도 최소한의 기억 상실을 동반한 지속적 학습을 가능하게 한다는 것을 확인했다.