[논문 리뷰] On approximating $ abla f$ with neural networks

Saeed Saremi|arXiv (Cornell University)|2019. 10. 28.

Model Reduction and Neural Networks참고 문헌 13인용 수 8

한 줄 요약

이 논문은 부드러운 함수 $f$에 대해 $\nabla f$를 근사할 수 없음을 증명한다. 깊이가 2 이상인 피드포워드 신경망 ($\psi$)는 입력 및 출력 가중치가 모두 평행하지 않은 한, $\nabla f$를 근사할 수 없으며, 이는 표현 능력을 심각하게 제한한다. 이를 대체로, $\nabla\phi \approx \nabla f$가 되도록 암묵적 매개변수화 $\phi$를 제안하며, 이는 대칭성 제약을 피하고 깊이에 기반한 보편 근사 가능성을 가능하게 한다.

ABSTRACT

Consider a feedforward neural network $ψ: \mathbb{R}^d ightarrow \mathbb{R}^d$ such that $ψ\approx abla f$, where $f:\mathbb{R}^d ightarrow \mathbb{R}$ is a smooth function, therefore $ψ$ must satisfy $\partial_j ψ_i = \partial_i ψ_j$ pointwise. We prove a theorem that a $ψ$ network with more than one hidden layer can only represent one feature in its first hidden layer; this is a dramatic departure from the well-known results for one hidden layer. The proof of the theorem is straightforward, where two backward paths and a weight-tying matrix play the key roles. We then present the alternative, the implicit parametrization, where the neural network is $ϕ: \mathbb{R}^d ightarrow \mathbb{R}$ and $ abla ϕ\approx abla f$; in addition, a "soft analysis" of $ abla ϕ$ gives a dual perspective on the theorem. Throughout, we come back to recent probabilistic models that are formulated as $ abla ϕ\approx abla f$, and conclude with a critique of denoising autoencoders.

연구 동기 및 목표

• 부드러운 함수 $f$의 기울기 $\nabla f$를 근사하는 데 있어 깊이가 있는 피드포워드 네트워크 ($\psi$)의 표현 능력을 조사하는 것.
• 깊이가 2 이상일 경우 $\psi$가 $\nabla f$를 표현하는 데 제약을 가하는 구조적 제약 조건—특히 대칭 조건 $\partial_j\psi_i = \partial_i\psi_j$—을 규명하는 것.
• 입력 및 출력 가중치의 대칭성 제약을 피할 수 있도록 $\nabla\phi \approx \nabla f$가 되도록 하는 $\phi$를 사용한 대체 매개변수화를 제안하는 것.
• 현대적 확률 모델 및 $\psi \approx \nabla f$에 의존하는 노이즈 제거 autoencoder에 미치는 영향을 분석하는 것.

제안 방법

• 기울기의 혼합 편미분의 대칭성에서 유도되는, $\psi$가 $\nabla f$를 근사하기 위한 필수 조건인 $\partial_j\psi_i = \partial_i\psi_j$ 조건을 유도한다.
• 깊은 네트워크($L > 2$)의 경우, 이 제약 조건을 만족시키는 유일한 해는 모든 입력 가중치 $\theta_m^{(0)}$와 출력 가중치 $\theta_n^{(L-1)}$가 서로 평행해야 한다는 것을 증명하며, 이는 표현 능력을 극도로 감소시킨다.
• 입력 및 출력 가중치의 대칭성 제약을 피하기 위해, $\mathbb{R}^d \to \mathbb{R}$인 $\phi: \mathbb{R}^d \to \mathbb{R}$를 사용한 암묵적 매개변수화 프레임워크를 도입하며, 이는 $\nabla\phi$를 통해 $\nabla f$를 근사한다.
• $\nabla\phi$에 대한 "부드러운 분석"을 수행하여, 이가 $L-1$개의 신경망의 곱과 대응됨을 보이며, 기존의 $\psi$ 네트워크보다 더 풍부한 계산적 구조를 가짐을 시사한다.
• 노이즈 제거 autoencoder를 비판적으로 분석하여, 동일한 대칭성 제약으로 인해 깊이가 2 이상인 경우 $\psi$-네트워크가 일반화에 실패함을 보여준다.

실험 결과

연구 질문

• RQ1 일반적인 부드러운 함수 $f$에 대해, 두 개 이상의 은닉층을 가진 깊이가 있는 피드포워드 신경망 $\psi: \mathbb{R}^d \to \mathbb{R}^d$는 $\nabla f$를 근사할 수 있는가?
• RQ2 깊은 네트워크에서 $\partial_j\psi_i = \partial_i\psi_j$ 조건이 요구될 경우 발생하는 구조적 제약은 무엇이며, 이는 매개변수화 능력을 어떻게 제한하는가?
• RQ3 왜 노이즈 제거 autoencoder는 $\nabla f$의 스코어 함수를 근사할 때 하나의 은닉층을 초월해 일반화에 실패하는가?
• RQ4 깊이가 있는 네트워크 $\phi: \mathbb{R}^d \to \mathbb{R}$의 기울기인 $\nabla\phi$는 $\psi$ 네트워크의 한계에도 불구하고 $\nabla f$의 보편 근사자로 기능할 수 있는가?

주요 결과

• 깊은 네트워크($L > 2$)의 경우, 대칭성 제약 조건 $\partial_j\psi_i = \partial_i\psi_j$는 모든 입력 가중치 $\theta_m^{(0)}$와 출력 가중치 $\theta_n^{(L-1)}$가 서로 평행해야 한다는 것을 강제하며, 이는 첫 번째 은닉층에서 단일 특징만을 표현할 수 있도록 제한한다.
• 모든 $i,j,m$에 대해 $\theta_{im}^{(1)}\theta_{mj}^{(0)} = \theta_{jm}^{(1)}\theta_{mi}^{(0)}$ 조건이 성립해야 하며, 이는 깊이 있는 아키텍처에서 평행 가중치 제약 조건이 유일한 해임을 의미한다.
• 암묵적 매개변수화 방식인 $\phi$를 통해 대칭성 제약을 피할 수 있으며, 이는 깊이가 있는 네트워크가 $\nabla f$를 보편적으로 근사할 수 있도록 가능하게 한다. 왜냐하면 $\nabla\phi$가 $L-1$개의 네트워크의 곱과 대응되기 때문이다.
• 노이즈 제거 autoencoder는 $\psi \approx \nabla f$를 암묵적으로 정의하지만, 동일한 대칭성 제약으로 인해 깊이가 2 이상인 경우 일반화에 실패한다. 단, 한 개의 은닉층에서는 일반화가 가능하다.
• 분석을 통해 근본적인 계기 전이 현상이 드러났다: 한 개의 은닉층을 가진 $\psi$ 네트워크는 가중치를 묶는 방식으로 $\nabla f$를 표현할 수 있지만, 더 깊은 $\psi$ 네트워크는 단일 특징로 제약을 받지 않는 한 효과적이지 않으며, 이에 따라 $\phi$가 깊이 있는 대체 방법으로 유일한 가능성이 된다.