[논문 리뷰] Breaking the Curse of Dimensionality with Convex Neural Networks

Francis Bach|arXiv (Cornell University)|2014. 12. 30.

Stochastic Gradient Optimization Techniques참고 문헌 61인용 수 321

한 줄 요약

이 논문은 비감소성이고 양의 동차성 있는 활성화 함수(예: ReLU)를 갖는 단일 은닉층 신경망의 볼록 최적화 문제를 제안하여, 지수적 표본 복잡도 없이도 보증 가능한 일반화 성능을 달성한다. 출력 가중치에 비유클리드 정규화를 적용하고, 비볼록 부분문제를 정규화된 준정수계획법을 통해 완화함으로써, 낮은 차원의 구조에 적응 가능하며, 잠재적으로 지수적 입력 차원을 가진 고차원 설정에서도 비선형 변수 선택이 가능하다.

ABSTRACT

We consider neural networks with a single hidden layer and non-decreasing homogeneous activa-tion functions like the rectified linear units. By letting the number of hidden units grow unbounded and using classical non-Euclidean regularization tools on the output weights, we provide a detailed theoretical analysis of their generalization performance, with a study of both the approximation and the estimation errors. We show in particular that they are adaptive to unknown underlying linear structures, such as the dependence on the projection of the input variables onto a low-dimensional subspace. Moreover, when using sparsity-inducing norms on the input weights, we show that high-dimensional non-linear variable selection may be achieved, without any strong assumption regarding the data and with a total number of variables potentially exponential in the number of ob-servations. In addition, we provide a simple geometric interpretation to the non-convex problem of addition of a new unit, which is the core potentially hard computational element in the framework of learning from continuously many basis functions. We provide simple conditions for convex relaxations to achieve the same generalization error bounds, even when constant-factor approxi-mations cannot be found (e.g., because it is NP-hard such as for the zero-homogeneous activation function). We were not able to find strong enough convex relaxations and leave open the existence or non-existence of polynomial-time algorithms.

연구 동기 및 목표

• 비모수적 학습에서 차원의 저주를 해결하기 위해 단일 은닉층 신경망을 위한 볼록 최적화 프레임워크를 개발하는 것.
• 데이터에 대한 강력한 가정 없이도, 하위공간에 대한 의존성이나 비선형 변수 선택과 같은 낮은 차원의 구조를 적응적으로 학습하는 것.
• 볼록 형식에서의 근사 오차와 추정 오차를 분석함으로써 일반화 오차에 대한 이론적 보장을 제공하는 것.
• 새로운 은닉 유닛을 추가하는 비볼록 부분문제의 볼록 완화를 탐색하며, 일반화 오차 경계를 유지하는 조건을 규명하는 것.
• 볼록 완화가 최적 성능을 달성하기 위한 기하적 해석과 충분조건을 규명하는 것, 즉 상수 인자 근사가 없더라도 가능하다.

제안 방법

• 은닉 유닛 수를 무한히 증가시키고 출력 가중치에 비유클리드 정규화를 적용함으로써, 비감소성이고 양의 동차성 있는 활성화 함수(예: ReLU)를 갖는 단일 은닉층 신경망을 볼록 최적화 문제로 공식화한다.
• 활성화 함수의 기하학적 해석을 활용하여, 새로운 유닛을 추가하는 비볼록 부분문제의 볼록 완화를 유도하며, 이는 지오노프와 하우스도르프 거리 기반이다.
• d차원 완화를 제안하며, $ \|v\|_2 = 1 $ 조건을 만족하는 랭크-1 행렬 $ V = vv^\top $ 를 도입하여, $ \|Vz_i\|_2 \leq 2u_i - v^Tz_i \leq \sqrt{z_i^T V z_i} $ 를 포함하는 제약 조건이 적용된 볼록 준정수계획법을 유도한다.
• n+d차원 완화를 제안하며, 행렬 $ U = uu^\top $, $ V = vv^\top $, $ J = uv^\top $ 을 도입하고, $ |\text{tr}(V z_i z_j^T)| \leq 4U_{ij} + z_j^T V z_i - 2\delta_i^T J z_j - 2\delta_j^T J z_i $ 를 포함하는 제약 조건을 설정한다.
• 기호 벡터 완화를 고려하며, $ S = ss^\top $, $ J = s v^T $ 를 도입하고, $ \delta_i^T J x_i \geq \max_{j \neq i} |\delta_j^T J x_i| $ 와 $ (x_i^T V x_i)^{1/2} \leq \delta_i^T J x_i $ 를 포함하는 제약 조건을 설정한다.
• 준정수계획법 제약 조건 하에서 목적함수 $ \frac{1}{2n} \sum_{i=1}^n y_i (\delta_i^T J x_i + v^T x_i) $ 를 최대화함으로써 볼록 완화를 도출한다.

실험 결과

연구 질문

• RQ1 무한히 많은 은닉 유닛과 비유클리드 정규화를 갖는 볼록 신경망이 입력 차원에 의존하지 않는 일반화 오차 경계를 달성할 수 있는가?
• RQ2 비선형 유닛 추가의 비볼록 부분문제에 대한 볼록 완화가 일반화 오차 경계를 유지하는 조건은 무엇인가?
• RQ3 이러한 볼록 형식은 알려지지 않은 낮은 차원의 구조(예: k차원 하위공간에 대한 의존성)에 적응 가능한가, k의 사전 지식이 없더라도 가능한가?
• RQ4 입력 가중치에 스파arsity 유도 노름을 적용할 경우, 지수적으로 많은 변수를 가진 고차원 설정에서도 비선형 변수 선택이 가능한가?
• RQ5 제안된 볼록 완화는 비지수적 표본 복잡도를 갖는 다항시간 알고리즘을 이끌어내는가?

주요 결과

• 볼록 형식은 알려지지 않은 낮은 차원의 구조(예: k차원 하위공간에 대한 의존성)에 적응 가능한 일반화 오차 경계를 달성하며, k의 사전 지식이 필요하지 않다.
• 입력 가중치에 스파arsity 유도 노름을 적용할 경우, 변수 수가 관측 수에 대해 지수적으로 증가하더라도 고차원 비선형 변수 선택이 가능하다.
• 이 방법은 근사 오차와 추정 오차에 대한 이론적 보장을 제공하며, 추정 오차는 $ O(1/\sqrt{n}) $ 의 속도로 증가하지만, 이 속도는 다항시간 알고리즘에서 경계를 유지하는 데에는 너무 느리다.
• 일부 기하 조건을 만족할 경우, 비볼록 부분문제의 볼록 완화는 상수 인자 근사가 없더라도 동일한 일반화 오차 경계를 달성할 수 있다.
• 지오노프 또는 이진 선형 분류 문제로 해석되는 문제의 기하학적 해석은 해 공간의 구조에 대한 통찰을 제공한다.
• 이론적으로는 유망하지만, 현재까지는 비지수적 표본 복잡도를 갖는 확실히 다항시간 알고리즘이 알려져 있지 않으며, 그러한 알고리즘의 존재 여부는 여전히 미해결이다.