[논문 리뷰] Gaussian Gated Linear Networks

David Budden, Adam Marblestone외 4명|arXiv (Cornell University)|2020. 06. 10.

Gaussian Processes and Bayesian Inference참고 문헌 44인용 수 6

한 줄 요약

이 논문은 출력을 가우시안 밀도의 가중 곱으로 모델링함으로써 백프로파게이션을 필요로 하지 않는 GLN 계열을 회귀 및 밀도 추정으로 확장한 가우시안 게이팅 선형 네트워크(G-GLN)를 소개한다. 입력에 따라 변화하는 게이팅 함수를 사용하는 각 뉴런에 대해 국소적이고 온라인 볼록 최적화를 적용함으로써, G-GLN는 회귀 벤치마크에서 최첨단 성능을 달성하고, 치명적인 잊음에 대한 강건성과 온라인 맥락 기반 밴딧 및 이미지 노이즈 제거에서 뛰어난 성능을 보인다.

ABSTRACT

We propose the Gaussian Gated Linear Network (G-GLN), an extension to the recently proposed GLN family of deep neural networks. Instead of using backpropagation to learn features, GLNs have a distributed and local credit assignment mechanism based on optimizing a convex objective. This gives rise to many desirable properties including universality, data-efficient online learning, trivial interpretability and robustness to catastrophic forgetting. We extend the GLN framework from classification to multiple regression and density modelling by generalizing geometric mixing to a product of Gaussian densities. The G-GLN achieves competitive or state-of-the-art performance on several univariate and multivariate regression benchmarks, and we demonstrate its applicability to practical tasks including online contextual bandits and density estimation via denoising.

연구 동기 및 목표

• 가우시안 분포를 사용하여 GLN 프레임워크를 분류에서 회귀 및 밀도 모델링으로 확장한다.
• 온라인 및 지속적 학습에서 백프로파게이션의 한계를 극복하기 위해 국소적이고 분산된 신용 할당을 가능하게 한다.
• 데이터 효율적인 온라인 학습을 가능하게 하며, 치명적인 잊음에 대한 강건성과 조각별 선형 구조를 통한 해석 가능성으로 인해 해석 가능성을 확보한다.
• 백프로파게이션 없이도 실용적 과제인 맥락 기반 밴딧과 이미지 노이즈 제거에 적용 가능함을 보여준다.
• 볼록 최적화와 가우시안 곱의 닫힘 성질을 활용하여 단변량 및 다변량 회귀 벤치마크에서 경쟁 가능한 성능을 달성한다.

제안 방법

• 각 뉴런을 가우시안 밀도의 가중 곱으로 모델링하며, 가중치는 입력에 따라 변화하는 맥락 함수에 의해 게이팅된다.
• 지수족 분포의 닫힘 성질을 활용: 가우시안 곱은 또 다른 가우시안이 되며, 이는 정확한 매개변수 갱신을 가능하게 한다.
• 볼록 로그 손실에 대한 온라인 경사하강법을 사용해 뉴런 매개변수를 최적화함으로써 수렴성과 안정성을 보장한다.
• 입력에 따라 활성화되는 가중치를 선택하기 위해 덧셈 편향이 있는 분포에서 샘플링된 맥락 함수를 적용함으로써 비선형 함수 근사가 가능해진다.
• 다양한 G-GLN 뉴런을 조합하기 위해 스위칭 집합 기법을 사용하여 최종 출력 분포를 개선함으로써 표현력을 향상시킨다.
• 학습 중에 투영을 통해 가중치와 분산에 제약 조건을 부여함으로써 수치적 안정성과 양의 성질을 유지한다.

실험 결과

연구 질문

• RQ1 GLN 프레임워크는 가우시안 분포를 사용하여 실수값 및 다변량 데이터를 모델링할 수 있는가?
• RQ2 G-GLN에서 국소적이고 온라인 볼록 최적화가 회귀 및 밀도 추정 과제에서 성능와 안정성을 유지하는가?
• RQ3 기본 딥 네트워크와 비교했을 때, G-GLN은 맥락 기반 밴딧과 같은 온라인 학습 환경에서 어떻게 성능을 내는가?
• RQ4 백프로파게이션 없이도 G-GLN은 밀도 추정과 노이즈 제거에서 경쟁 가능한 성능을 낼 수 있는가?
• RQ5 게이팅 메커니즘과 볼록 최적화는 치명적인 잊음에 대한 강건성과 모델의 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• G-GLN은 SARCOS 및 UCI 데이터셋을 포함한 여러 단변량 및 다변량 회귀 벤치마크에서 경쟁력 있거나 최첨단 성능을 달성한다.
• SARCOS 데이터셋에서 G-GLN는 테스트 평균 제곱 오차가 0.0022를 기록하여 동일한 설정에서 기준 방법들을 능가한다.
• 맥락 기반 밴딧 실험에서 G-GLN는 백프로파게이션 없이도 표준 딥 네트워크와 동일하거나 뛰어난 성능을 보였으며, 강력한 온라인 학습 능력을 입증했다.
• MNIST에서의 이미지 노이즈 제거 작업에서 G-GLN는 테스트 로그우도가 -1.25 비트/차원을 기록했으며, ReLU 활성화 함수를 사용하는 표준 MLP와 유사한 성능을 보였다.
• 모델는 순차적인 과제 간에 성능 유지가 가능했으며, 미세조정 없이도 치명적인 잊음에 강건함을 입증했다.
• 볼록 최적화와 국소 학습을 통해 조각별 선형 구조를 통해 해석 가능성이 간단해졌고, 안정적인 수렴성이 보장되었다.