[논문 리뷰] Evolving Plasticity for Autonomous Learning under Changing Environmental Conditions

Anil Yaman, Giovanni Iacca외 4명|University of Twente Research Information|2019. 04. 02.

Neural Networks and Applications참고 문헌 45인용 수 18

한 줄 요약

이 논문은 변화하는 환경 조건 하에서 지속적인 온라인 학습 중 인공 신경망이 자율적으로 적응할 수 있도록 해주는 해석 가능한 이진 인코딩 히브시안 가소성 규칙을 발견하기 위한 진화적 접근을 제안한다. 단순한 규칙 기반 시냅스 수정을 최적화하기 위해 유전 알고리즘을 사용하여, 오프라인 최적화 성능의 약 74% 수준(히л 클라이밍 성능의 74%)에 도달하는 성능을 달성하면서도, 사냥 및 천적-피식자 작업에서의 적응 행동에 대한 통찰을 제공한다.

ABSTRACT

A fundamental aspect of learning in biological neural networks is the plasticity property which allows them to modify their configurations during their lifetime. Hebbian learning is a biologically plausible mechanism for modeling the plasticity property in artificial neural networks (ANNs), based on the local interactions of neurons. However, the emergence of a coherent global learning behavior from local Hebbian plasticity rules is not very well understood. The goal of this work is to discover interpretable local Hebbian learning rules that can provide autonomous global learning. To achieve this, we use a discrete representation to encode the learning rules in a finite search space. These rules are then used to perform synaptic changes, based on the local interactions of the neurons. We employ genetic algorithms to optimize these rules to allow learning on two separate tasks (a foraging and a prey-predator scenario) in online lifetime learning settings. The resulting evolved rules converged into a set of well-defined interpretable types, that are thoroughly discussed. Notably, the performance of these rules, while adapting the ANNs during the learning tasks, is comparable to that of offline learning methods such as hill climbing.

연구 동기 및 목표

• 변화하는 환경 조건 하에서 인공 신경망이 자율적으로 학습할 수 있도록 해석 가능한 시냅스 가소성 규칙을 발전시키는 것.
• 국소적이고 생물학적으로 타당한 히브시안 가소성 규칙으로부터 통합된 전반적 학습 행동을 달성하는 데 도전하는 것.
• 온라인 및 종신적 학습 환경에서 높은 성능를 유지하면서도, 발전된 가소성 규칙의 복잡성을 줄이는 것.
• 발전된 가소성 규칙이 결정론적 사냥 환경와 확률적 천적-피식자 환경 등 다양한 작업 동역학에 어떻게 적응하는지 조사하는 것.
• 이산적이고 이진 표현의 규칙을 사용하여, 진화하는 신경망의 학습 메커니즘에 대한 해석 가능성을 제공하는 것.

제안 방법

• 쌍방향 뉴런 활성화 상호작용을 인코딩하는 이산적이고 이진적인 형식으로 시냅스 가소성 규칙을 표현한다.
• 유전 알고리즘을 사용하여 여러 세대에 걸쳐 이러한 이진 규칙을 진화시켜 사냥 및 천적-피식자 작업에서의 성능를 최적화한다.
• 진화된 규칙을 적용하여 국소적인 전- 및 후-시냅스 뉴런 활성화 기반으로 온라인 및 종신적 시냅스 가중치 업데이트를 수행한다.
• 각 작업에서 환경의 계절적 변화 두 가지를 정의하여 동적 조건 하에서의 적응 능력을 시험한다.
• 수동으로 설계된 규칙과 히л 클라이밍 최적화된 네트워크를 기준으로 진화된 가소성 규칙의 성능를 비교하여 상한선 성능를 확립한다.
• 에이전트 행동을 시각적으로 분석하여, 직선 이동 대비 대각선 이동 패턴과 같은 진화된 규칙 전략의 차이를 해석한다.

실험 결과

연구 질문

• RQ1 해석 가능한 이진 인코딩 히브시안 가소성 규칙를 진화시켜 동적 환경 조건 하에서 인공 신경망이 자율적이고 종신적인 학습을 수행할 수 있는가?
• RQ2 결정론적(사냥)과 확률적(천적-피식자) 학습 작업 간에 진화된 가소성 규칙의 구조와 행동은 어떻게 다를까?
• RQ3 진화된 가소성 규칙가 지속적인 학습 환경에서 히л 클라이밍과 같은 오프라인 최적화 방법에 비해 어느 정도 성능를 달성할 수 있는가?
• RQ4 진화된 가소성 규칙에서 어떤 행동 전략이 나타나며, 이는 보상 구조와 확률성과 같은 환경 역학과 어떻게 관련이 있는가?
• RQ5 진화된 규칙는 변화하는 작업 조건에서 높은 성능를 유지하면서도 치명적인 잊음( catastrophic forgetting)을 피할 수 있는가?

주요 결과

• 진화된 시냅스 가소성 규칙(ESP)는 사냥 및 천적-피식자 작업 모두에서 수동으로 설계된 히л 클라이밍 최적화 네트워크 성능의 약 74%를 달성하여, 온라인 학습에서 높은 경쟁력 있는 성능를 입증했다.
• 사냥 작업에서는 최고의 ESP 규칙가 네트워크가 바람직하지 않은 출력을 생성할 때만 시냅스 변화를 일으켜, 학습된 지식을 과도하게 덮어쓰는 것을 방지하는 전략을 취하고 있음을 시사한다.
• 천적-피식자 작업에서는 환경의 확률적 동역학에 신속히 적응할 필요가 있어, 학습 속도가 사냥 작업보다 약 10배 높은 수준(1개의 지수 차수 높음)을 보였다.
• 최고 성능를 보인 ESP 규칙들에서 두 가지의 명백한 행동 전략이 나타났다: 하나는 수동으로 설계된 에이전트의 행동을 모방하는 직선 이동 패턴이며, 다른 하나는 무작위로 움직이는 천적과 피식자를 피하는 데 유리한 대각선 이동 패턴을 취하는 것이다.
• 진화된 규칙는 해석 가능했고, 작업 간에 구조적으로 상이했으며, 이는 진화 과정이 작업에 특화된 요구에 맞게 규칙의 복잡성을 적응시켰음을 나타낸다.
• 에이전트 행동의 시각적 점검을 통해, 유사한 피트니스 점수를 기록한 서로 다른 ESP 규칙들이 질적으로 다른 전략을 보였음을 확인했으며, 이는 진화된 해결책의 다양성을 강조한다.