[논문 리뷰] Expressiveness of Rectifier Networks

Xingyuan Pan, Vivek Srikumar|arXiv (Cornell University)|2015. 11. 18.

Evolutionary Algorithms and Applications참고 문헌 12인용 수 20

한 줄 요약

이 논문은 두 층의 정류기 신경망(ReLU)의 표현력을 분석하여, 이들이 지수적으로 더 큰 임계값 네트워크와 동일한 결정 경계를 표현할 수 있음을 보여주지만, 이러한 동치성은 최악의 경우에 지수적 크기의 필요성을 수반한다. 이 논문은 임계값 네트워크를 ReLU 네트워크로 로그 스케일 압축하기 위한 충분조건을 규명하고, 실험을 통해 표현력만으로는 비볼록 최적화 과제로 인해 학습 가능성 보장이 되지 않음을 입증한다.

ABSTRACT

Rectified Linear Units (ReLUs) have been shown to ameliorate the vanishing gradient problem, allow for efficient backpropagation, and empirically promote sparsity in the learned parameters. They have led to state-of-the-art results in a variety of applications. However, unlike threshold and sigmoid networks, ReLU networks are less explored from the perspective of their expressiveness. This paper studies the expressiveness of ReLU networks. We characterize the decision boundary of two-layer ReLU networks by constructing functionally equivalent threshold networks. We show that while the decision boundary of a two-layer ReLU network can be captured by a threshold network, the latter may require an exponentially larger number of hidden units. We also formulate sufficient conditions for a corresponding logarithmic reduction in the number of hidden units to represent a sign network as a ReLU network. Finally, we experimentally compare threshold networks and their much smaller ReLU counterparts with respect to their ability to learn from synthetically generated data.

연구 동기 및 목표

• ReLU 네트워크와 잘 연구되어 있지만 이 맥락에서는 덜 이해된 임계값 네트워크를 비교하여 그 표현력을 공식적으로 분석하는 것.
• ReLU 네트워크가 임계값 네트워크의 결정 경계를 은닉 유닛 수 측면에서 효율적으로 표현할 수 있는지 여부를 규명하는 것.
• 임계값 네트워크를 훨씬 더 작은 ReLU 네트워크로 압축할 수 있는 충분조건을 규명하여 효율적 표현을 가능하게 하는 것.
• 실험적 평가를 통해 ReLU 네트워크의 표현력, 샘플 복잡도, 최적화 난이도 간의 상호작용을 탐구하는 것.

제안 방법

• 구성적 증명을 통해 두 층의 ReLU 네트워크와 임계값 네트워크 간의 기능적 동치성을 수립하여, 동일한 결정 경계를 표현하기 위해 임계값 네트워크가 지수적으로 더 많은 유닛을 필요로 할 수 있음을 보여준다.
• 결정 경계의 구조적 특성에 기반하여, 임계값 네트워크가 은닉 유닛 수가 로그 스케일로 감소하는 ReLU 네트워크로 압축될 수 있는 충분조건를 도출한다.
• 은닉층 출력 상태(단지 출력 예측이 아닌)를 고려할 때 적용 가능한 완화된 동치 조건을 도입하여 다중 클래스 분류의 동치성을 가능하게 한다.
• 합성 데이터를 사용하여 ReLU 네트워크와 임계값 네트워크를 실험적으로 비교하며, 둘 다 ReLU 및 압축된 tanh(임계값을 시뮬레이션) 활성화 함수를 사용해 훈련한다.
• 초기 조기 정지, L2 정규화, 교차 검증을 통해 하이퍼파rameter를 튜닝하고, 다양한 입력 차원과 은닉 유닛 수를 가진 테스트 세트에서 성능을 평가한다.
• 다양한 아키텍처에서 일반화 오차를 평가한다: ReLU 네트워크(n개 유닛), 압축된 tanh 네트워크(n개 유닛), 압축된 tanh 네트워크(2^n개 유닛)를 사용하여 임계값 네트워크를 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 두 층의 ReLU 네트워크의 결정 경계는 임계값 네트워크로 표현될 수 있는가? 만약 가능하면, 임계값 네트워크의 크기는 어떻게 비교되는가?
• RQ2 은닉 유닛 수가 로그 스케일로 감소하는 조건에서, 임계값 네트워크를 ReLU 네트워크로 압축할 수 있는 충분조건가 존재하는가?
• RQ3 ReLU 네트워크의 표현력이 함수가 표현 가능하더라도, 임계값 네트워크보다 더 나은 학습 가능성 보장을 제공하는가?
• RQ4 비볼록 훈련 목표 함수의 특성이 진정한 개념을 복구하는 데 영향을 미치는가? 특히 압축된 tanh를 사용해 임계값 행동을 시뮬레이션할 경우에 대해.

주요 결과

• 두 층의 ReLU 네트워크는 결정 경계를 임계값 네트워크와 동치로 표현할 수 있지만, 최악의 경우 임계값 네트워크는 지수적으로 더 많은 은닉 유닛이 필요하다.
• 어떤 두 층의 ReLU 네트워크도 더 작은 임계값 네트워크로 표현될 수 없음을 보여주며, 이는 본질적인 표현력 우월성을 시사한다.
• 임계값 네트워크를 은닉 유닛 수가 로그 스케일로 감소하는 ReLU 네트워크로 압축할 수 있는 충분조건를 규명하여 더 효율적인 표현을 가능하게 한다.
• 진정한 개념이 표현 가능하더라도, 압축된 tanh(임계값을 시뮬레이션)로 훈련할 경우 동일한 유닛 수로 함수를 복구하지 못함을 보여주며, 표현력이 학습 가능성 보장하지 않음을 시사한다.
• 지수적으로 더 많은 압축된 tanh 유닛(2^n)을 사용하면 일부 데이터셋에선 성능 향상이 있지만, 모든 데이터셋에서 그렇지 않음을 확인하여 최적화 과정의 복잡성과 비볼록성으로 인해 표현 능력에도 불구하고 학습이 저해됨을 시사한다.
• 모든 설정에서 훈련 오차와 테스트 오차가 유사함을 확인하여 과적합이 열악한 성능의 주요 원인이 아니며, 고차원 공간에서의 비볼록 목표 함수 최적화 난이도가 주요 원인임을 시사한다.