[논문 리뷰] $\mathcal{G}$-SGD: Optimizing ReLU Neural Networks in its Positively Scale-Invariant Space

Qi Meng, Shuxin Zheng외 4명|arXiv (Cornell University)|2018. 02. 11.

Stochastic Gradient Optimization Techniques참고 문헌 34인용 수 4

한 줄 요약

이 논문은 ReLU 신경망을 양의 척도 불변성 공간인 G-space에서 훈련하는 새로운 최적화 알고리즘인 G-SGD를 제안한다. G-space는 양의 가중치 스케일링에 대해 불변인 기저 경로들로부터 구성되며, 이 경로들의 값은 변화하지 않는다. G-space에서 역체인 규칙과 가중치 배분을 통한 효율적인 기울기 계산을 사용하여 최적화함으로써, 정규화를 적용한 경우 CIFAR-10과 CIFAR-100에서 표준 SGD보다 유의미하게 뛰어난 일반화 성능을 달성한다. 각각 94.67%와 75.20%의 테스트 정확도를 달성한다.

ABSTRACT

It is well known that neural networks with rectified linear units (ReLU) activation functions are positively scale-invariant. Conventional algorithms like stochastic gradient descent optimize the neural networks in the vector space of weights, which is, however, not positively scale-invariant. This mismatch may lead to problems during the optimization process. Then, a natural question is: \emph{can we construct a new vector space that is positively scale-invariant and sufficient to represent ReLU neural networks so as to better facilitate the optimization process }? In this paper, we provide our positive answer to this question. First, we conduct a formal study on the positive scaling operators which forms a transformation group, denoted as $\mathcal{G}$. We show that the value of a path (i.e. the product of the weights along the path) in the neural network is invariant to positive scaling and prove that the value vector of all the paths is sufficient to represent the neural networks under mild conditions. Second, we show that one can identify some basis paths out of all the paths and prove that the linear span of their value vectors (denoted as $\mathcal{G}$-space) is an invariant space with lower dimension under the positive scaling group. Finally, we design stochastic gradient descent algorithm in $\mathcal{G}$-space (abbreviated as $\mathcal{G}$-SGD) to optimize the value vector of the basis paths of neural networks with little extra cost by leveraging back-propagation. Our experiments show that $\mathcal{G}$-SGD significantly outperforms the conventional SGD algorithm in optimizing ReLU networks on benchmark datasets.

연구 동기 및 목표

• ReLU 네트워크의 양의 척도 불변성과 표준 가중치 공간에서의 비불변 최적화 간의 불일치를 해결하기 위해.
• ReLU 신경망을 완전히 표현할 수 있는 양의 척도 불변성 벡터 공간(G-space)를 형식적으로 정의하기 위해.
• 기존의 가중치 벡터가 아닌 G-space에서 최소한의 계산 비용으로 효율적인 확률적 경사하강법(G-SGD) 알고리즘을 설계하기 위해.
• G-space에서의 최적화가 일반화 성능을 향상시키는지 경험적으로 검증하기 위해, 특히 높은 양의 척도 불변성 조건에서의 성능 향상을 확인하기 위해.

제안 방법

• ReLU 네트워크의 출력을 유지하는 양의 스케일링 연산자로 구성된 변환군 G를 정의한다.
• 경로 값—경로를 따라 있는 가중치의 곱—이 G에 대해 불변임을 증명하며, 미약한 조건 하에 모든 경로 값이 ReLU 네트워크를 완전히 표현함을 보인다.
• 선형적으로 독립인 경로들의 최소 집합(기저 경로)을 식별하여, 이들의 값 벡터가 더 낮은 차원의 불변 G-space를 생성하도록 한다.
• 역체인 규칙과 가중치 할당을 이용한 기울기 계산 방법을 구성하여, 기저 경로 값에 대한 기울기를 효율적으로 역전파한다.
• 기존의 백프로파게이션을 최소한의 수정으로 활용하여, 전체 가중치 벡터 대신 기저 경로 값 벡터를 최적화함으로써 G-SGD를 구현한다.
• 정규화를 G-space에 통합함(예: 기저 경로 노름)으로써 일반화 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 ReLU 신경망을 완전히 표현할 수 있는 양의 척도 불변성 공간을 구성할 수 있는가?
• RQ2 이러한 불변 공간(G-space)에서의 최적화는 기존의 가중치 공간에서의 표준 SGD보다 더 나은 최적화 동역학과 일반화 성능을 보이는가?
• RQ3 G-space의 차원은 원래의 가중치 공간과 비교해 어떻게 되며, 이는 최적화 효율성에 어떤 영향을 미치는가?
• RQ4 양의 척도 불변성이 높을수록 G-SGD의 성능 향상은 어떻게 영향을 받는가?
• RQ5 G-space에서의 정규화는 일반화 성능을 추가로 향상시킬 수 있으며, 이는 가중치 공간에서의 가중치 노름 정규화와 비교해 어떤가?

주요 결과

• CIFAR-10에서 G-SGD는 94.67%의 테스트 정확도를 달성하여, 가중치 감쇠를 적용한 SGD(91.25%)를 초월하며, 보고된 SOTA보다 3.42%포인트 높은 성능을 기록한다.
• CIFAR-100에서는 기저 경로 정규화를 적용한 G-SGD가 75.20%의 테스트 정확도를 기록하여, 가중치 감쇠를 적용한 SGD(74.39%)보다 0.81%포인트 높은 성능을 보였다.
• G-SGD의 성능 향상은 양의 척도 불변성이 높을수록 증가하며, 이는 네트워크 구조가 더 불변적일수록 G-space에서의 최적화가 더 효과적임을 확인한다.
• G-SGD는 기울기 계산이 역체인 규칙과 가중치 할당을 통해 효율적으로 가능하므로, 최소한의 계산 오버헤드로 이러한 성능 향상을 달성한다.
• G-space의 차원은 전체 가중치 공간보다 H만큼 작으며, 여기서 H는 전체 은닉 유닛의 수이다. 이는 효과적인 자유도가 크게 감소했음을 의미한다.
• G-space에서의 정규화(예: 기저 경로 노름)는 가중치 공간에서의 가중치 감쇠보다 더 효과적이며, 이는 불변이며 낮은 차원의 공간에서 최적화하는 것이 유리함을 보여준다.