[논문 리뷰] Hardness of Learning Neural Networks with Natural Weights

Amit Daniely, Gal Vardi|arXiv (Cornell University)|2020. 06. 05.

Stochastic Gradient Optimization Techniques참고 문헌 35인용 수 8

한 줄 요약

이 논문은 깊이 2 신경망이 자연스러운 분포에서 추출된 가중치(예: 구 위의 정규분포 또는 균일분포)를 가질 경우, RSAT 가정 하에 조차도 증명 가능하게 학습이 어려운 것으로 보여준다. 이는 가중치가 잘 조정되어 있고 무작위이더라도 성립한다. 결과적으로 이러한 가중치의 일반적인, 높은 확률로 성립하는 성질이 효율적 학습을 가능하게 하지 못함을 보여주며, 실험적 성공과 최악의 경우의 난이도 사이의 핵심 이론적 격차를 해결한다.

ABSTRACT

Neural networks are nowadays highly successful despite strong hardness results. The existing hardness results focus on the network architecture, and assume that the network's weights are arbitrary. A natural approach to settle the discrepancy is to assume that the network's weights are "well-behaved" and posses some generic properties that may allow efficient learning. This approach is supported by the intuition that the weights in real-world networks are not arbitrary, but exhibit some "random-like" properties with respect to some "natural" distributions. We prove negative results in this regard, and show that for depth-$2$ networks, and many "natural" weights distributions such as the normal and the uniform distribution, most networks are hard to learn. Namely, there is no efficient learning algorithm that is provably successful for most weights, and every input distribution. It implies that there is no generic property that holds with high probability in such random networks and allows efficient learning.

연구 동기 및 목표

• 신경망의 실험적 성공과 그 학습에 대한 강력한 이론적 난이도 결과 사이의 괴리를 해결하기 위해.
• 자연스러운 가중치 분포(예: 정규분포, 구 위의 균일분포 등)가 일반적인, 높은 확률로 성립하는 성질을 제공함으로써 이러한 네트워크의 효율적 학습을 가능하게 하는지 조사하기 위해.
• 심지어 자연스러운 가중치 분포 하에서도, 어떤 입력 분포이든 상관없이 대부분의 네트워크가 여전히 학습이 어려운 것으로 규명하기 위해.
• 랜덤 필터와 단위 출력 가중치를 가진 컨볼루션 네트워크로 난이도 결과를 확장하기 위해.

제안 방법

• 학습 문제를 랜덤 K-SAT 공식의 반증 난이도로 환원함(즉, RSAT 가정).
• 입력 샘플을 유지하면서 실현 가능성과 산산이 흩어지는 성질을 보존하는 무작위 직교 변환을 사용함.
• 자연스러운 가중치를 모델링하기 위해 가중치 벡터의 분포를 구성함(예: 구 위의 균일분포, 다변량 정규분포).
• 행렬 변환을 통한 차원 축소를 적용하여 입력 노름을 제어하고 실현 가능성을 유지함.
• sign-CNN 실현 가능성 문제에서 SCAT 문제로의 환원을 통해, 자연스러운 가중치 분포 하에서 RSAT 난이도를 보여줌.
• 변환된 입력의 노름 범위를 분석하여, 목표 분포의 요구 조건을 충족하는 반경 내에 유지됨을 확보함.

실험 결과

연구 질문

• RQ1 정규분포, 구 위의 균일분포 등 자연스러운 분포에서 추출된 가중치를 가진 깊이 2 신경망은 효율적으로 학습 가능한가?
• RQ2 높은 확률로 성립하는 가중치의 어떤 일반적 성질도 이러한 네트워크의 효율적 학습을 가능하게 할 수 있는가?
• RQ3 첫 번째 레이어가 랜덤 필터와 단위 출력 가중치를 가진 컨볼루션 레이어일 경우, 난이도가 유지되는가?
• RQ4 다양한 입력 분포에 걸쳐 난이도 결과가 강인한가?
• RQ5 RSAT 가정을 사용하여 자연스러운 가중치 분포 하에서 학습 난이도를 증명할 수 있는가?

주요 결과

• 다변량 정규분포, 구 위의 균일분포, 또는 i.i.d. 정규분포/균일분포/베르누이 분포 성분에서 추출된 가중치를 가진 깊이 2 네트워크의 학습은 가중치에 대해 높은 확률로 어려운 편이다.
• 이 난이도 결과는 모든 입력 분포에 대해 성립하므로, 자연스러운 가중치의 일반적인, 높은 확률로 성립하는 성질이 효율적 학습을 가능하게 하지 못한다는 것을 의미한다.
• 환원 분석을 통해 이러한 네트워크의 학습은 RSAT 난이도를 가진다. 이는 랜덤 K-SAT를 반증하는 것이 어렵다는 가정 하에 성립한다.
• 이 결과는 비중첩 패치와 랜덤 필터를 가진 컨볼루션 네트워크로도 확장되며, 동일한 가정 하에서 학습 난이도가 유지된다.
• 직교 변환 하에서 변환된 입력의 노름은 유한하게 유지되며, 이는 환원 과정이 필요한 기하학적 제약 조건을 유지함을 보장한다.
• 분석 결과, 조건이 잘 맞고 무작위인 가중치를 가진다 해도, 어떤 효율적 학습 알고리즘도 일반적으로 성공할 수 없다는 것이 확인된다.