[논문 리뷰] Principled Deep Neural Network Training through Linear Programming

Daniel Bienstock, Gonzalo Muñoz외 1명|arXiv (Cornell University)|2018. 10. 07.

Machine Learning and Algorithms인용 수 11

한 줄 요약

이 논문은 주어진 딥 뉴럴 네트워크 아키텍처, 활성화 함수, 손실 함수 및 샘플 크기의 모든 가능한 경험적 위험 최소화 문제를 하나의 다면체 내에 코딩하는 다면체 프레임워크를 소개한다. 핵심 결과는 이 다면체의 크기가 샘플 크기와 선형으로 증가한다는 것으로, 이는 선형 프로그래밍을 통한 딥 네트워크 훈련의 새로운 이론적 통찰과 개선된 계산 복잡도 상한을 가능하게 한다.

ABSTRACT

Deep learning has received much attention lately due to the impressive empirical performance achieved by training algorithms. Consequently, a need for a better theoretical understanding of these problems has become more evident in recent years. In this work, using a unified framework, we show that there exists a polyhedron which encodes simultaneously all possible deep neural network training problems that can arise from a given architecture, activation functions, loss function, and sample-size. Notably, the size of the polyhedral representation depends only linearly on the sample-size, and a better dependency on several other network parameters is unlikely (assuming $P eq NP$). Additionally, we use our polyhedral representation to obtain new and better computational complexity results for training problems of well-known neural network architectures. Our results provide a new perspective on training problems through the lens of polyhedral theory and reveal a strong structure arising from these problems.

연구 동기 및 목표

• 딥 뉴럴 네트워크 훈련의 계산 복잡도를 분석하기 위한 통합 이론적 프레임워크를 개발하는 것.
• 고정된 아키텍처와 샘플 크기의 모든 경험적 위험 최소화 문제들이 단일 다면체에 코딩될 수 있음을 보여주는 것.
• 이 다면체의 크기가 입력 및 파라미터 차원에 대한 지수적 의존성에도 불구하고 샘플 크기와 선형적으로 의존함을 입증하는 것.
• 이 다면체 표현을 사용하여 딥 네트워크 훈련의 개선된 계산 복잡도 상한을 유도하는 것.
• 선형 프로그래밍 해를 통한 일반화 위험에 대한 근사 보장을 이론적으로 제공하는 것.

제안 방법

• 네트워크 아키텍처, 활성화 함수 및 손실 함수로부터 유도된 다면체 집합 위에서 경험적 위험 최소화(ERM) 문제를 선형 프로그래밍으로 공식화하는 것.
• 데이터에 의존하지 않는 다면체를 구성하여 주어진 아키텍처와 샘플 크기의 모든 가능한 ERM 문제를 코딩하며, 이 다면체의 크기가 샘플 크기 D에 대해 선형으로 증가함을 보장하는 것.
• 다면체 이론을 사용하여 코딩의 면 구조를 분석하고, 훈련 결과를 다면체의 기하학적 특성과 연결하는 것.
• 선형 프로그래밍 기법을 적용하여 일반화 위험에 대한 근사 보장을 도출하며, 샘플 복잡도에 대한 상한을 제공하는 것.
• 기존의 선형 프로그래밍 및 볼록 해석 결과를 활용하여 다양한 가정(예: 유계 가중치, 리프시츠 손실 함수) 하에서 복잡도 상한을 도출하는 것.
• 이를 통해 유도된 알고리즘 복잡도를 이전 연구들과 비교하며, 깊이 k, 너비 w, 근사 오차 ϵ에 대한 의존성 측면에서 분석하는 것.

실험 결과

연구 질문

• RQ1 고정된 딥 뉴럴 네트워크 아키텍처와 샘플 크기의 모든 경험적 위험 최소화 문제들이 단일 다면체 표현에 코딩될 수 있는가?
• RQ2 이 다면체 표현의 크기가 샘플 크기 D, 네트워크 깊이 k, 너비 w, 입력/출력 차원에 대해 어떻게 변화하는가?
• RQ3 이 다면체 표현을 사용한 선형 프로그래밍을 통한 훈련 문제 해결의 계산 복잡도는 얼마인가?
• RQ4 기존 문헌과 비교할 때 일반화 위험에 대한 근사 보장은 어떻게 다른가?
• RQ5 데이터에 의존하지 않는 다면체의 면 구조를 분석함으로써 훈련 문제에 대한 어떤 구조적 통찰이 도출되는가?

주요 결과

• 고정된 아키텍처와 샘플 크기의 모든 ERM 문제에 대한 다면체 표현은 샘플 크기 D에 대해 선형으로 증가하며, 표준 복잡도 가정 하에서는 최적임을 입증함.
• 다면체의 크기는 O((2L∞(ℓ)w^{O(k²)}/ϵ)^{n+m+N} (4σ²/ϵ²) log((2L∞(ℓ)w^{O(k²)}/ϵ)^N / α))로 유계되며, 이는 입력 및 파rameter 차원에 대해 다항식 의존성과 D에 대해 선형 의존성을 보여줌.
• 선형 프로그래밍을 통한 알고리즘 해법은 높은 확률로 일반화 위험을 근사하며, D = (4σ²/ϵ²) log((2L∞(ℓ)w^{O(k²)}/ϵ)^N / α)의 샘플 크기에서 GRM(φ̄) ≤ minφ∈Φ GRM(φ) + 6ϵ를 만족함.
• 이전 연구들(예: [20])과 비교해 복잡도 상한에서 ϵ과 k에 대해 더 우수한 의존성을 확보하며, k에 대해 이중 지수적 의존성 대신 단일 지수적 의존성을 가지게 됨.
• 이 방법은 이전 연구들이 볼록성 또는 m=1을 요구하는 것과 달리 비볼록 손실 함수와 일반적인 출력 차원 m에 대해서도 적용 가능함.
• 다면체 프레임워크는 딥 러닝 훈련 문제에 강력한 기하학적 구조를 드러내며, 최적화를 다면체 기하학과 면 구조에 연결함.