[논문 리뷰] Linear Algebra and Duality of Neural Networks

Galin Georgiev|arXiv (Cornell University)|2018. 09. 12.

Neural Networks and Applications참고 문헌 25인용 수 3

한 줄 요약

이 논문은 선형 대수적 프레임워크를 통해 신경망의 관측 가능량(예: 픽셀)과 관측치(예: 훈련 샘플) 간의 이중성(duality)을 형식화함으로써, 기저, 사영, 거리 척도, 변분법을 사용하여 신경망의 훈련 동역학과 차원 축소에 대한 물리학에 영감을 받은 수학적으로 엄밀한 기초를 구축한다. 백프로파게이션과 제한된 볼츠만 머신(Restricted Boltzmann Machine, RBM)의 가중치 갱신을 변분 원리로부터 유도함으로써, 이는 훈련 동역학과 차원 축소에 대한 엄밀한 수학적 기초를 제공한다.

ABSTRACT

Bases, mappings, projections and metrics, natural for Neural network training, are introduced. Graph-theoretical interpretation is offered. Non-Gaussianity naturally emerges, even in relatively simple datasets. Training statistics, hierarchies and energies are analyzed, from physics point of view. Duality between observables (for example, pixels) and observations is established. Relationship between exact and numerical solutions is studied. Physics and financial mathematics interpretations of a key problem are offered. Examples support all new concepts.

연구 동기 및 목표

• 선형 대수학을 사용하여 신경망 내에서 관측 가능량(예: 픽셀 강도)과 관측치(예: 훈련 샘플) 간의 공식적 이중성을 수립한다.
• 재구성 오차를 최소화하는 작용 함수 작용을 통해 신경망 훈련을 변분 문제로 모델링한다.
• 라그랑주 작용의 편미분을 이용해 제1원리에서 표준 백프로파게이션 및 RBM 가중치 갱신 규칙을 유도한다.
• 물리학 및 금융 수학의 관점에서 훈련 통계, 비정규성, 계층적 구조를 분석한다.
• SVD와 이중 아키텍처(예: 오토에인코더 및 RBM 포함)를 사용한 정확한 선형 대수적 해를 통한 차원 축소를 제공한다.

제안 방법

• 훈련 데이터를 P×N 행렬 X로 형식화하며, 관측 가능량을 열로, 관측치를 행으로 간주하고, 관측 가능량과 관측치의 이중 공간을 도입한다.
• 훈련 사상 T와 T′, 켤레 관측 가능량, 사영 P와 P′, 관측 가능량 공간과 관측치 공간 양쪽에 대한 거리 척도를 도입한다.
• 재구성 오차를 최소화하기 위해 작용 함수 S에 변분법을 적용하며, X, Y, W^(1), W^(2), 그리고 라그랑주 승수 Z와 Ẑ에 대한 편미분을 사용한다.
• 작용의 편미분을 0으로 설정함으로써 백프로파게이션 갱신 규칙을 유도하며, ΔW^(2) = -δY^T ΔX 및 ΔW^(1) = -δX(0)^T Z를 도출한다.
• 고정된 가중치를 사용할 경우, RBM 갱신 규칙 ΔW^(1) ≈ -δ(ΔX^T Y + X(0)^T ΔY)를 유도하며, 그로 인해 Gram 행렬 G(m)를 사용해 ΔW^(1) ≈ -δΔG(m)W^(1)로 단순화된다.
• 네트워크 계층과 훈련 동역학에 그래프 이론적 해석을 도입하며, 평형, 노이즈, 페르미온화와 같은 물리적 개념과 연결한다.

실험 결과

연구 질문

• RQ1 선형 대수적 구조를 사용해 신경망 내 관측 가능량과 관측치를 어떻게 공식적으로 이중화할 수 있는가?
• RQ2 표준 백프로파게이션의 배경이 되는 변분 원리는 무엇이며, 라그랑주 작용에서 어떻게 유도되는가?
• RQ3 오토에인코더 및 RBM에 대해 유도된 가중치 갱신 규칙은 SVD와 같은 정확한 선형 대수적 해와 어떻게 관련이 있는가?
• RQ4 단순한 데이터셋의 훈련 동역학에서 비정규성이 어떻게 자연스럽게 유도되는가?
• RQ5 평형, 계층성, 통계역학의 개념을 어떻게 신경망 훈련을 이해하는 데 적용할 수 있는가?

주요 결과

• 논문은 표준 백프로파게이션 갱신 규칙을 변분 원리에서 유도하며, 가중치 갱신이 라그랑주 작용 함수의 편미분을 0으로 만드는 것과 일치함을 보여준다.
• 고정된 가중치를 사용할 경우, 유도된 갱신 규칙은 RBM 학습 규칙과 일치하며, ΔW^(1) ≈ -δΔG(m)W^(1)로 표현되며, 여기서 ΔG(m)는 Gram 행렬의 변화이다.
• 재구성 오차 벡터 -ΔX(m) = Ẑ(m)는 음의 라그랑주 승수로 식별되며, 역전파 오차 Z(m)는 Z(m) = Ẑ(m)W^(2)^T를 통해 계산된다.
• 이 프레임워크는 관측 가능량과 관측치 간의 이중성을 수립하며, 켤레 및 역행렬 사상 덕분에 입력 및 출력 공간을 대칭적으로 다룰 수 있다.
• 비정규성은 단순한 데이터셋의 훈련 분포에서조차도 훈련 사상과 사영의 구조 때문에 자연스럽게 유도된다.
• 정확한 선형 대수적 해를 통한 차원 축소는 특이값 분해(SVD)와 동치이며, 이중 오토에인코더 아키텍처는 이러한 구조를 유지한다.