[논문 리뷰] On the Learnability of Deep Random Networks

Abhimanyu Das, Sreenivas Gollapudi외 2명|arXiv (Cornell University)|2019. 04. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 21인용 수 5

한 줄 요약

이 논문은 무작위 가중치와 부호 활성화를 갖는 깊은 랜덤 신경망의 학습 가능성에 대해 조사하며, 이론적으로 깊이가 증가함에 따라 학습 가능성의 지수가 감소함을 증명한다. 이는 입력 벡터가 층을 거치며 점점 더 수직이 되기 때문이다. 실험적 검증을 통해 최신 학습 방법을 사용하더라도 이 학습 가능성의 감소가 확인되었으며, 이는 로그 깊이를 초월한 깊은 랜덤 아키텍처에서의 학습에 근본적인 제약이 있음을 시사한다.

ABSTRACT

In this paper we study the learnability of deep random networks from both theoretical and practical points of view. On the theoretical front, we show that the learnability of random deep networks with sign activation drops exponentially with its depth. On the practical front, we find that the learnability drops sharply with depth even with the state-of-the-art training methods, suggesting that our stylized theoretical results are closer to reality.

연구 동기 및 목표

• 깊은 랜덤 신경망에서 학습 가능성의 이론적 한계를 이해하기 위해, 표현 가능성과 최적화를 통한 실제 학습 가능성의 차이를 밝히는 것.
• 깊이가 랜덤 깊은 네트워크에서 입력 벡터 간의 상관관계에 어떻게 영향을 미치는지 분석하는 것, 특히 부호 활성화 함수의 경우에 중점을 두는 것.
• 깊이가 ω(log n)인 랜덤 깊은 네트워크가 통계적 질의(SQ) 알고리즘에 의해 효율적으로 학습될 수 없다는 것을 입증하는 것. 이는 경사 하강법 및 주성분 분석을 포함한 광범위한 알고리즘들을 포함한다.
• 다양한 깊이를 갖는 무작위로 초기화된 깊은 네트워크에서 최신 딥러닝 기법을 사용하여 이론적 결과를 실험적으로 검증하는 것.
• 충분히 깊은 깊은 랜덤 네트워크가 암호학적 난이도를 보이며, 해시 함수와 유사한 성질을 보이는지 탐구하는 것.

제안 방법

• 이론적 분석은 i.i.d. 정규 분포 가중치와 부호 활성화를 갖는 깊은 랜덤 네트워크의 각 층을 거쳐 입력 쌍 간의余弦 유사도 변화를 모델링한다.
• 증명은 비동일한 입력 쌍이 점차 서로 멀어지며 각도 간격이 증가함을 보여주며, 몇 층을 거치면 거의 수직 상태에 도달함을 시사한다.
• 상관관계 감소를 형식화하기 위해 확률적 비선형 재귀를 사용하며, 정규 분포 랜덤 변수와 부호 함수의 성질을 활용한다.
• 통계적 질의(SQ) 모델에서의 하한을 적용하여, ω(log n)를 초월하는 깊이의 네트워크가 SQ 알고리즘에 의해 효율적으로 학습될 수 없음을 보여준다.
• 논문은 깊이가 ω(log n)인 랜덤 네트워크의 출력이 n^{1/4}-방향 독립적임을 도출하며, 암호학적 난이도의 가능성을 제시한다.
• 실험적 평가에서는 깊이가 증가하는 임의의 초기화된 깊은 교사 네트워크의 출력에 대해 학생 네트워크를 훈련시키며, 표준 딥러닝 기법으로 학습 성능을 측정한다.

실험 결과

연구 질문

• RQ1 부호 활성화를 갖는 깊은 랜덤 네트워크의 학습 가능성은 깊이가 증가함에 따라 지수적으로 감소하는가?
• RQ2 확률적 재귀 분석을 통해 입력 쌍 간의 상관관계 감소를 공식적으로 증명할 수 있는가?
• RQ3 깊이가 ω(log n)인 랜덤 깊은 네트워크는 통계적 질의 알고리즘에 의해 증명적으로 학습될 수 없는가?
• RQ4 실제 학습 방법이 깊은 랜덤 네트워크를 얼마나 잘 학습하지 못하는가? 이는 이론적 예측을 확인하는 데에 얼마나 기여하는가?
• RQ5 충분히 깊은 깊은 랜덤 네트워크는 높은 차수의 독립성과 같은 암호학적 해시 함수 유사 성질을 보이는가?

주요 결과

• 부호 활성화를 갖는 깊은 랜덤 네트워크의 학습 가능성은 깊이가 증가함에 따라 지수적으로 감소하며, 이는 몇 층을 거치면 입력 쌍이 거의 수직 상태에 도달하기 때문이다.
• 이론적 분석은 깊이가 ω(log n)인 네트워크가 어떤 통계적 질의 알고리즘에 의해서도 효율적으로 학습될 수 없음을 입증한다. 이는 경사 하강법 및 주성분 분석을 포함한다.
• 실험적 결과는 깊이가 증가함에 따라 학습 성능이 급격히 떨어지는 것을 보여주며, 최신 학습 기법을 사용하더라도 이론적 한계를 확인한다.
• 깊이가 ω(log n)인 깊은 랜덤 네트워크의 출력이 n^{1/4}-방향 독립적임을 입증함으로써 암호학적 난이도의 가능성을 뒷받침한다.
• 논문은 선형 함수에 대해 학습 가능성 결과를 정확히 유도하며, 비선형 랜덤 깊은 네트워크의 비학습 가능성과 대비한다.
• 이론적 및 실험적 결과는 랜덤 깊은 네트워크가 로그 깊이를 초월하면 근본적으로 학습하기 어려워지며, 표현 가능성은 있지만 학습 가능성은 상실됨을 함께 시사한다.