[논문 리뷰] Need is All You Need: Homeostatic Neural Networks Adapt to Concept Shift

Kingson Man, António R. Damásio외 1명|arXiv (Cornell University)|2022. 05. 17.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 자기 예측의 결과와 자신의 학습 역학을 연결함으로써 오류에 취약한, 내부 안정성을 유지하기 위해 정확한 결정이 필요로 하는 '홈오스터시스' 신경망을 소개한다. 이 모델은 개념 이탈 상황에서 표준 학습자보다 뛰어나며, 특히 높은 이탈 비율에서 성능을 높이기 위해 변화하는 데이터 분포에 적응하기 위해 학습률을 동적으로 조정한다.

ABSTRACT

In living organisms, homeostasis is the natural regulation of internal states aimed at maintaining conditions compatible with life. Typical artificial systems are not equipped with comparable regulatory features. Here, we introduce an artificial neural network that incorporates homeostatic features. Its own computing substrate is placed in a needful and vulnerable relation to the very objects over which it computes. For example, artificial neurons performing classification of MNIST digits or Fashion-MNIST articles of clothing may receive excitatory or inhibitory effects, which alter their own learning rate as a direct result of perceiving and classifying the digits. In this scenario, accurate recognition is desirable to the agent itself because it guides decisions to regulate its vulnerable internal states and functionality. Counterintuitively, the addition of vulnerability to a learner does not necessarily impair its performance. On the contrary, self-regulation in response to vulnerability confers benefits under certain conditions. We show that homeostatic design confers increased adaptability under concept shift, in which the relationships between labels and data change over time, and that the greatest advantages are obtained under the highest rates of shift. This necessitates the rapid un-learning of past associations and the re-learning of new ones. We also demonstrate the superior abilities of homeostatic learners in environments with dynamically changing rates of concept shift. Our homeostatic design exposes the artificial neural network's thinking machinery to the consequences of its own "thoughts", illustrating the advantage of putting one's own "skin in the game" to improve fluid intelligence.

연구 동기 및 목표

• 시간이 지남에 따라 레이블-데이터 관계가 변화하는 개념 이탈 문제를 다루기 위해, 성능을 유지하는 데 내재된 동기가 있는 시스템을 모델링한다.
• 인공 학습자에게 자신의 결정이 내부 상태에 영향을 주는 형태의 내부 취약성(예: 성과에 따라 내부 상태가 변화)을 부여하면 적응력이 향상되는가를 탐구한다.
• 이차적 이탈 상황(즉, 개념 이탈 속도 자체가 시간에 따라 변화하는 경우)에서 홈오스터시스 조절이 성능 향상에 기여하는가를 조사한다.
• 예측 결과에서 유도된 내부 피드백이 외부 보상 신호 없이도 지속적 학습을 위한 자가 조절 메커니즘으로 기능할 수 있음을 입증한다.

제안 방법

• 예측의 결과에 따라 학습률이 조절되는 피드포워드 신경망 분류기(예: MNIST 또는 Fashion-MNIST)이다.
• 예측 오차는 직접적으로 네트워크의 내부 상태에 영향을 미친다: 정확한 예측은 내부 스트레스를 감소시켜 학습률을 증가시키고, 오류는 스트레스를 증가시켜 학습률을 감소시킨다.
• 정확한 분류가 내부 안정성 유지를 위해 필수적이라는 점을 고려한 홈오스터시스 피드백 루프를 기반으로 학습률을 동적으로 조정한다.
• 생물학적으로 영감을 얻은 피드백 메커니즘을 사용하며, 네트워크의 '안녕도'는 예측 정확도에 따라 결정되는 내부 파라미터로 표현된다.
• 과거 예측의 누적 영향을 받는 내부 상태에 기반해 실시간으로 학습률을 업데이트한다.
• 변동하는 데이터 분포에 적응할 수 있도록, 급격한 변화나 이탈 속도의 계절적 변동을 포함한 제어된 개념 이탈 시나리오에서 아키텍처를 훈련시킨다.

실험 결과

연구 질문

• RQ1 자신의 예측 결과에 취약한 신경망이 표준 학습자보다 개념 이탈 상황에서 더 나은 적응을 이룰 수 있는가?
• RQ2 홈오스터시스 학습자에서 성능 향상 정도가 개념 이탈 속도에 비례하여 증가하는가?
• RQ3 이차적 이탈 상황(즉, 개념 이탈 속도 자체가 시간에 따라 변화하는 경우)에서 홈오스터시스 메커니즘이 어떻게 작동하는가?
• RQ4 예측 결과에서 유도된 내부 피드백만으로도 외부 보상 신호나 강화 신호 없이 효과적인 지속적 학습을 이끌 수 있는가?
• RQ5 홈오스터시스 설계가 변동하는 환경 조건에서 성능을 유지하기 위해 지속적인 학습률 조정을 이끌어내는가?

주요 결과

• 홈오스터시스 학습자 모델은 높은 수준의 개념 이탈 상황에서 표준 모델보다 유의미하게 뛰어난 성능을 보이며, 특히 가장 높은 이탈 비율에서 성능 향상이 두드러진다.
• 정적 또는 저속도 이탈 조건에서는 홈오스터시스 모델이 약간의 성능 손실을 입는다. 이는 적응력과 안정성 사이의 상충 관계를 시사한다.
• 홈오스터시스 네트워크는 개념 이탈이 높은 기간 동안 학습률을 동적으로 증가시켜 새로운 데이터 분포에 신속히 적응할 수 있다.
• 고도의 이탈이 발생하는 '폭풍기' 이후 홈오스터시스 모델은 일정 학습률 기반 베이스라인 대비 더 빨리 회복하고 더 높은 정확도를 유지한다.
• 홈오스터시스 모델은 회복 기간 동안 높은 학습률을 유지하는 '휴면 상태'를 보이며, 안정된 단계에서는 약간의 성능 저하를 보이지만, 변동성이 큰 조건에서 평균 성능이 우수하다.
• 홈오스터시스 설계는 개념 이탈 속도 자체가 시간에 따라 변화하는 이차적 이탈 상황에서도 효과적인 적응을 가능하게 하며, 동적인 환경 변화에 대한 강건성을 입증한다.