[논문 리뷰] Decoupling Gating from Linearity

Jonathan Fiat, Eran Malach외 1명|arXiv (Cornell University)|2019. 06. 12.

Stochastic Gradient Optimization Techniques참고 문헌 26인용 수 12

한 줄 요약

이 논문은 ReLU 네트워크에서 선형 변환과 게이팅 메커니즘을 분리한 단순화된 신경망 유닛인 게이팅 선형 유닛(GaLU)을 소개한다. 선형성과 게이팅에 별도의 가중치 벡터를 할당함으로써 GaLU는 더 강한 일반화 및 기억 능력 한계를 가능하게 하며, $m$개의 예제를 $d$차원에서 기억하기 위해 단지 $\frac{m}{d}$개의 뉴런으로도 0의 손실을 달성한다. 이는 이론적 분석과 실용적 성능 간의 강력한 일치를 보여준다.

ABSTRACT

ReLU neural-networks have been in the focus of many recent theoretical works, trying to explain their empirical success. Nonetheless, there is still a gap between current theoretical results and empirical observations, even in the case of shallow (one hidden-layer) networks. For example, in the task of memorizing a random sample of size $m$ and dimension $d$, the best theoretical result requires the size of the network to be $ ildeΩ(\frac{m^2}{d})$, while empirically a network of size slightly larger than $\frac{m}{d}$ is sufficient. To bridge this gap, we turn to study a simplified model for ReLU networks. We observe that a ReLU neuron is a product of a linear function with a gate (the latter determines whether the neuron is active or not), where both share a jointly trained weight vector. In this spirit, we introduce the Gated Linear Unit (GaLU), which simply decouples the linearity from the gating by assigning different vectors for each role. We show that GaLU networks allow us to get optimization and generalization results that are much stronger than those available for ReLU networks. Specifically, we show a memorization result for networks of size $ ildeΩ(\frac{m}{d})$, and improved generalization bounds. Finally, we show that in some scenarios, GaLU networks behave similarly to ReLU networks, hence proving to be a good choice of a simplified model.

연구 동기 및 목표

• ReLU 네트워크에서 이론적 한계와 실증적 성능 간 격차를 해결하고자 하며, 특히 기억 능력 작업에서의 문제를 다룬다.
• ReLU 뉴런에서 선형성과 게이팅 성분이 공유하는 가중치 벡터의 공동 학습이 이론적 분석을 제한한다는 점을 규명한다.
• 선형성과 게이팅을 분리함으로써 더 강력한 이론적 결과를 도출할 수 있는 단순화된 모델인 GaLU를 제안한다.
• GaLU 네트워크가 ReLU 네트워크보다 더 향상된 일반화 및 기억 능력 한계를 달성함을 보여준다.
• GaLU를 실증적으로 평가하여 실세계 설정(선형 및 비선형 작업 포함)에서 ReLU 네트워크와 유사한 성능를 보이는지 평가한다.

제안 방법

• ReLU 뉴런을 선형 함수와 이진 게이트의 곱으로 분해한다: $[\mathbf{x}^\top\mathbf{w}]_+ = \mathbf{1}_{\{\mathbf{x}^\top\mathbf{w} \geq 0\}} \cdot (\mathbf{x}^\top\mathbf{w})$.
• 선형 성분과 게이팅 성분에 별도의 가중치 벡터를 사용하는 게이팅 선형 유닛(GaLU)을 도입한다.
• 랜덤 특징과 커널 방법의 도구를 활용해 GaLU 네트워크를 분석하고, 더 향상된 일반화 및 기억 능력 한계를 보여준다.
• 이론적 기억 능력 결과를 수립한다: GaLU 네트워크는 $d$차원에서 $m$개의 예제를 기억하기 위해 $\tilde{\Omega}(\tfrac{m}{d})$개의 뉴런이 필요하다.
• 합성 데이터, 선형적으로 분리 가능한 데이터, MNIST, Fashion-MNIST, 그리고 파리티 작업에서 GaLU와 ReLU 네트워크를 훈련하고 비교한다.
• 이진 탐색을 사용하여 0의 손실를 달성하기 위한 최소 네트워크 너비를 결정하고, 다수의 실행에서의 평균 테스트 정확도를 보고한다.

실험 결과

연구 질문

• RQ1 왜 ReLU 네트워크의 이론적 한계가 기억 능력에 필요한 뉴런 수를 실증적 관찰보다 크게 과대평가하는가?
• RQ2 ReLU 뉴런의 선형성과 게이팅 성분을 분리함으로써 더 단순화된 모델을 도출할 수 있으며, 더 강력한 이론적 보장을 얻을 수 있는가?
• RQ3 GaLU 네트워크의 성능가 ReLU 네트워크와 비교해 기억 능력, 일반화 및 실제 데이터셋에서의 학습 능력 측면에서 어떻게 다른가?
• RQ4 GaLU와 ReLU 네트워크가 유사하거나 다른 방식으로 행동하는 설정은 무엇이며, 이는 GaLU가 단순화된 모델로서의 타당성을 어떻게 시사하는가?
• RQ5 특히 과소 매개변수화된 영역에서 GaLU 네트워크의 매개변수 수와 일반화 성능 간의 관계는 어떠한가?

주요 결과

• GaLU 네트워크는 $d$차원에서 $m$개의 랜덤 예제를 기억하기 위해 $\tilde{\Omega}(\tfrac{m}{d})$개의 뉴런으로도 0의 훈련 손실을 달성하며, 실증적 관찰과 일치한다.
• 과소 매개변수화된 영역에서 GaLU 손실는 $1 - \tfrac{kd}{m}$로 표현되며, ReLU 손실는 $1 - 2\tfrac{kd}{m}$로 하한이 존재하므로, ReLU에 비해 매개변수 효율성에서 상수 요인의 이점이 있다.
• 선형적으로 분리 가능한 데이터에서, GaLU와 ReLU 네트워크 모두 높은 테스트 정확도를 달성하며, ReLU가 略로 약간 우수한 성능를 보였다.
• MNIST 및 Fashion-MNIST에서, GaLU와 ReLU 네트워크 모두 높은 테스트 정확도를 달성했으며, ReLU 네트워크가 略로 약간 더 우수한 성능를 보였다.
• 파리티 작업에서, GaLU와 ReLU 네트워크 모두 일반화에 실패하여 우연 수준의 성능를 보였으며, 이는 복잡한 비선형 함수 학습 능력의 한계를 시사한다.
• 실증적으로, 수렴하기 위해 필요한 최소 뉴런 수는 GaLU와 ReLU 네트워크 모두 약 $\tfrac{m}{d}$로 확인되었으며, 이는 GaLU의 이론적 한계를 확인한다.