[논문 리뷰] A Modern Self-Referential Weight Matrix That Learns to Modify Itself

Kazuki Irie, Imanol Schlag외 2명|arXiv (Cornell University)|2022. 02. 11.

Neural Networks and Applications인용 수 15

한 줄 요약

이 논문은 추론 중에 외적 곱과 델타 업데이트 규칙을 사용하여 자체적으로 가중치를 수정할 수 있도록 학습하는 현대적인 자기참조 가중치 행렬(SRWM)을 소개한다. 이는 순환적인 자기 개선을 가능하게 한다. 적은 샘플 학습과 절차적으로 생성된 환경을 사용한 다중 작업 강화 학습에서 평가된 결과, SRWM은 경쟁력 있는 성능을 보이며 자기 수정 신경망의 실용적 적용 가능성을 입증한다.

ABSTRACT

The weight matrix (WM) of a neural network (NN) is its program. The programs of many traditional NNs are learned through gradient descent in some error function, then remain fixed. The WM of a self-referential NN, however, can keep rapidly modifying all of itself during runtime. In principle, such NNs can meta-learn to learn, and meta-meta-learn to meta-learn to learn, and so on, in the sense of recursive self-improvement. While NN architectures potentially capable of implementing such behaviour have been proposed since the '90s, there have been few if any practical studies. Here we revisit such NNs, building upon recent successes of fast weight programmers and closely related linear Transformers. We propose a scalable self-referential WM (SRWM) that learns to use outer products and the delta update rule to modify itself. We evaluate our SRWM in supervised few-shot learning and in multi-task reinforcement learning with procedurally generated game environments. Our experiments demonstrate both practical applicability and competitive performance of the proposed SRWM. Our code is public.

연구 동기 및 목표

• 런타임 중에 자신의 가중치 행렬을 순환적으로 자기 수정할 수 있는 신경망 아키텍처를 개발하는 것.
• 기존 신경망에서 고정된 가중치 행렬이 학습 후에 적응할 수 없는 한계를 극복하는 것.
• 현대적인 빠른 가중치 프로그래밍과 선형 트랜스포머 메커니즘을 기반으로 확장 가능하고 자기참조적인 가중치 행렬(SRWM)을 구축하는 것.
• 적은 샘플 학습과 절차적으로 생성된 환경을 사용한 다중 작업 강화 학습과 같은 실질적인 학습 시나리오에서 SRWM을 평가하는 것.
• 사람의 재학습이나 미세조정 없이도 자기 수정 네트워크가 경쟁력 있는 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• SRWM은 입력 토큰에서 훈련 가능한 가중치 행렬을 통해 키, 값, 쿼리 및 학습률(β)을 생성하는 느린 신경망을 사용한다.
• 델타 업데이트 규칙을 적용한다: Wₜ = Wₜ₋₁ + σ(βₜ)(vₜ − v̄ₜ) ⊗ φ(kₜ), 여기서 v̄ₜ는 이전 가중치와 현재 키를 기반으로 예측된 목표 업데이트이다.
• 가중치 행렬은 값 벡터와 키 활성화 함수 φ(kₜ) 사이의 순차적 외적 곱을 통해 업데이트되며, 이는 빠르고 맥락 기반의 가중치 변화를 가능하게 한다.
• 모델은 초기 가중치에 대해서만 경사 하강법으로 훈련되며, 이후 모든 가중치 수정은 추론 중에 자체적으로 생성된다.
• 아키텍처는 빠른 가중치 프로그래밍과 선형 트랜스포머에서 영감을 받았으며, 핵심 혁신은 가중치 행렬 자체의 자기참조성이다.
• SRWM은 세 가지 설정에서 평가된다: 적은 샘플 분류, 순차적 다중 작업 학습, 그리고 ProcGen을 사용한 다중 작업 강화 학습.

실험 결과

연구 질문

• RQ1 추론 중에 고정되거나 외부에서 업데이트되는 가중치에 의존하지 않고, 신경망이 스스로의 가중치 행렬을 자기참조적으로 수정할 수 있는가?
• RQ2 제안된 SRWM이 표준 모델과 비교해 적은 샘플 학습 과제에서 경쟁력 있는 성능을 달성하는가?
• RQ3 SRWM은 다중 작업 설정에서 추론 중에 작업 분포의 순차적 변화에 동적으로 적응할 수 있는가?
• RQ4 SRWM은 다중 작업 강화 학습 환경에서 다양한 절차적으로 생성된 환경으로 일반화할 수 있는가?
• RQ5 순환적인 자기 수정이 동적인 환경에서 학습 효율성과 적응 능력을 얼마나 향상시키는가?

주요 결과

• SRWM은 표준 적은 샘플 학습 벤치마크에서 경쟁력 있는 성능를 보이며, 효과적인 자기 수정 능력을 입증한다.
• 순차적 다중 작업 학습에서, SRWM은 재학습이나 외부 간섭 없이 추론 중에 새로운 작업에 대해 가중치를 성공적으로 적응시켰다.
• ProcGen 환경을 사용한 다중 작업 강화 학습에서 모델는 다양한 절차적으로 생성된 게임 레벨에서 뛰어난 내구성을 보였다.
• SRWM의 자기 수정 메커니즘은 키, 값, 학습률의 학습된 패턴을 통해 빠르고 맥락 기반의 가중치 업데이트를 가능하게 했다.
• 모델의 성능는 안정적이며, 추론 중에 작업 분포가 변화하더라도 잘 일반화되어 있어 강력한 적응 능력을 보였다.
• 결과는 자기참조 가중치 행렬이 빠른 가중치 프로그래밍과 선형 어텐션과 같은 현대 딥러닝 기법을 사용해 실용적으로 구현하고 확장할 수 있음을 확인한다.