[논문 리뷰] Provable Methods for Training Neural Networks with Sparse Connectivity

Hanie Sedghi, Anima Anandkumar|arXiv (Cornell University)|2014. 12. 08.

Sparse and Compressive Sensing Techniques참고 문헌 21인용 수 11

한 줄 요약

이 논문은 방법의 모멘트 접근법을 사용하여 깊이 있는 피드포워드 신경망의 희소 연결성을 갖는 훈련을 증명 가능하게 보장하는 방법을 제안한다. 스트레인의 보조정리를 활용하여 레이블과 입력 스코어 함수 간의 교차모멘트를 분석함으로써, 이 모멘트 행렬의 특이값 분해가 첫 번째 레이어 가중치 행렬의 행 스트레인을 복원함을 보이며, $µ_1$-정규화 최적화는 온건한 비퇴화 조건 하에서 희소 첫 번째 레이어 가중치를 정확히 복원할 수 있다.

ABSTRACT

We provide novel guaranteed approaches for training feedforward neural networks with sparse connectivity. We leverage on the techniques developed previously for learning linear networks and show that they can also be effectively adopted to learn non-linear networks. We operate on the moments involving label and the score function of the input, and show that their factorization provably yields the weight matrix of the first layer of a deep network under mild conditions. In practice, the output of our method can be employed as effective initializers for gradient descent.

연구 동기 및 목표

• 희소 연결성을 갖는 깊이 신경망을 이론적으로 보장된 방법으로 훈련시키기 위한 방법을 개발하는 것.
• 이전에 비감독 모델에 국한되어 있던 방법의 모멘트 학습을 감독적이고 비선형적인 깊이 신경망 설정으로 확장하는 것.
• $µ_1$-최적화를 통해 첫 번째 레이어 가중치 행렬이 정확히 복원될 수 있는 조건을 설정하는 것.
• 레이블과 입력 스코어 함수 간의 교차모멘트가 깊이 신경망의 저랭크 근사와 초기화에 충분한 정보를 담고 있음을 보여주는 것.
• 딥러닝에서 사전 훈련과 스코어 기반 초기화의 경험적 성공에 대한 이론적 근거를 제공하는 것.

제안 방법

• 이 방법은 $ M = \mathbb{E}[y (\nabla_x \log p(x))^\top] $ 형태의 교차모멘트 행렬을 사용한다. 여기서 $ y $는 레이블이고, $ \nabla_x \log p(x) $는 입력 분포의 스코어 함수이다.
• 스트레인의 보조정리를 적용하여 $ M = -\mathbb{E}[\nabla_x y] $ 라는 결과를 도출함으로써, 모멘트 행렬이 입력에 대한 네트워크 출력의 도함수와 연결됨을 보여준다.
• 모멘트 행렬의 특이값 분해(SVD)를 통해 첫 번째 레이어 가중치 행렬 $ A_1 $ 의 저랭크 근사를 확보함으로써, 역전파 과정에서 차원 축소를 가능하게 한다.
• 희소 가중치의 경우, 비퇴화 가정 하에 모멘트 행렬에 $ \ell_1 $-정규화 최적화를 적용하여 $ A_1 $ 를 정확히 복원할 수 있다.
• 다중 클래스 및 다중 레이블 설정으로의 확장은 각각 소프트맥스 및 시그모이드 활성화 함수를 사용하여 이루어진다.
• 사전 가정 하에 네트워크 깊이, 가중치 행렬, 활성화 함수에 대한 체인 룰 및 스피엘만 등(2012)의 희소 복원 결과를 활용하여 이론적 보장을 도출한다.

실험 결과

연구 질문

• RQ1 방법의 모멘트 접근법을 비감독 모델에서 감독적이고 비선형적인 깊이 신경망 학습으로 확장할 수 있는가? 그리고 이에 대한 증명 가능한 보장을 확보할 수 있는가?
• RQ2 레이블과 입력 스코어 함수 간의 교차모멘트가 첫 번째 레이어 가중치 행렬을 복원하는 데 충분한 정보를 담고 있는가?
• RQ3 희소 첫 번째 레이어 가중치가 깊이 신경망에서 $ \ell_1 $-최적화를 통해 정확히 복원될 수 있는 조건은 무엇인가?
• RQ4 스트레인의 보조정리는 비선형 모델에서 스코어 함수와 네트워크 기울기 간의 연결을 어떻게 가능하게 하는가?
• RQ5 이 프레임워크는 중간 레이어로 확장될 수 있으며, 이를 위해 어떤 구조적 제약 조건이 필요한가?

주요 결과

• 레이블과 입력 스코어 함수 간의 교차모멘트 행렬 $ M $ 의 특이값 분해는 첫 번째 레이어 가중치 행렬 $ A_1 $ 의 행 스트레인을 복원하며, 이는 효과적인 저랭크 초기화를 가능하게 한다.
• 비퇴화 조건과 희소성 가정 하에, 모멘트 행렬에 $ \ell_1 $-정규화 최적화를 적용하면, $ A_1 $ 의 행 정규화된 형태를 실패 확률이 지수적으로 작아지는 조건에서 정확히 복원할 수 있다.
• 이 방법은 히든 유닛 수 $ k $ 를 기준으로 $ \sqrt{k} $ 수준의 희소성까지 복원 가능하며, 이는 이전 연구에서 $ k^\gamma $ (여기서 $ \gamma \leq 0.2 $) 까지 제한되었던 것에 비해 뛰어난 성능을 보인다.
• 이론적 분석을 통해 사전 훈련 과정에서 스코어 함수를 학습하는 방법이 레이블 정보와 스코어를 정렬함으로써 역전파 성능을 향상시킬 수 있음을 보여주며, 경험적 성과를 설명할 수 있다.
• 이 프레임워크는 다중 클래스(소프트맥스) 및 다중 레이블(시그모이드) 분류 작업에 모두 적용 가능하다.
• 이 방법은 일반적인 비선형 깊이 신경망에서 감독 설정 하에 일부 매개변수를 학습하는 데 있어 첫 번째로 증명 가능한 방법을 제공한다.