[논문 리뷰] Global Optimality in Tensor Factorization, Deep Learning, and Beyond

Benjamin D. Haeffele, Renè Vidal|arXiv (Cornell University)|2015. 06. 24.

Tensor decomposition and applications참고 문헌 20인용 수 105

한 줄 요약

이 논문은 텐서 분해와 딥 러닝과 같은 비볼록 인수분해 문제를 분석하기 위한 일반적인 프레임워크를 제안한다. 비볼록 문제에 대해 볼록 이완 원리를 활용함으로써, 충분한 인수 크기가 확보될 경우 모든 국소 최솟값이 전역 최솟값이 되며, 국소 내림값 알고리즘이 임의의 초기화로부터 전역 최소화자를 수렴함을 증명한다.

ABSTRACT

Techniques involving factorization are found in a wide range of applications and have enjoyed significant empirical success in many fields. However, common to a vast majority of these problems is the significant disadvantage that the associated optimization problems are typically non-convex due to a multilinear form or other convexity destroying transformation. Here we build on ideas from convex relaxations of matrix factorizations and present a very general framework which allows for the analysis of a wide range of non-convex factorization problems - including matrix factorization, tensor factorization, and deep neural network training formulations. We derive sufficient conditions to guarantee that a local minimum of the non-convex optimization problem is a global minimum and show that if the size of the factorized variables is large enough then from any initialization it is possible to find a global minimizer using a purely local descent algorithm. Our framework also provides a partial theoretical justification for the increasingly common use of Rectified Linear Units (ReLUs) in deep neural networks and offers guidance on deep network architectures and regularization strategies to facilitate efficient optimization.

연구 동기 및 목표

• 행렬 및 텐서 인수분해 문제에서의 비볼록성 문제에 대응하기 위해, 이는 일반적으로 최적화를 방해하지만 실무에서의 성공에도 불구하고.
• 렐루 활성화 함수와 현대 딥 네트워크 아키텍처의 최적화에서의 효과성에 대한 이론적 근거를 제공하기 위해.
• 비볼록 인수분해 문제에서 국소 최솟값이 전역 최솟값이 되는 조건을 설정하기 위해.
• 국소 수렴을 통한 효율적 최적화를 보장하는 딥 네트워크 아키텍처 및 정규화 전략의 설계를 안내하기 위해.

제안 방법

• 행렬, 텐서, 딥 네트워크 인수분해를 포함한 인수모델을 위한 일반적인 비볼록 최적화 프레임워크를 제안한다.
• 행렬 인수분해에서 유도된 볼록 이완 기법을 사용하여 인수공간 내의 비볼록 문제를 분석한다.
• 사상의 동차성과 정규화를 기반으로 한 조건을 도입하여 전역 최적성을 보장한다.
• 한 토핑의 인수된 텐서가 모두 0일 경우, 모든 국소 최솟값이 전역 최솟값임을 보여줌으로써 최적화 지형을 분석한다.
• 충분히 큰 인수 차원이 확보될 경우, 국소 내림값 알고리즘이 임의의 탐색 가능 초기화로부터 전역 최소화자를 수렴함을 증명한다.
• 딥 네트워크에 이 프레임워크를 적용하기 위해, 네트워크를 양의 동차 사상으로 모델링함으로써 출력 공간의 볼록 분석이 가능하게 한다.

실험 결과

연구 질문

• RQ1 비볼록 인수분해 문제에서 국소 최솟값이 전역 최솟값이 되는 조건은 무엇인가?
• RQ2 인수된 변수의 크기가 국소 최적화 알고리즘의 전역 수렴에 어떻게 영향을 미치는가?
• RQ3 왜 렐루 기반 딥 네트워크는 시그모이드나 탄젠트 활성화 함수를 사용하는 네트워크보다 최적화 속도와 성능 면에서 뛰어나게 되는가?
• RQ4 현대 딥 네트워크의 구조는 전역 최적성을 보장하기 위해 볼록 이완 프레임워크를 통해 분석될 수 있는가?
• RQ5 네트워크 사상의 동차성 정도와 정규화 항 간의 균형이 전역 수렴을 달성하는 데 어떤 역할을 하는가?

주요 결과

• 인수된 텐서의 한 슬라이스가 모두 0일 경우, 비볼록 최적화 문제의 모든 국소 최솟값이 전역 최솟값이 된다.
• 인수된 변수의 크기가 충분히 클 경우, 임의의 타당한 초기화로부터 어떤 국소 내림값 알고리즘도 전역 최소화자를 수렴할 수 있다.
• 이 프레임워크는 렐루 활성화 함수가 딥 러닝에서 성공을 거두는 데 이론적 근거를 제공한다. 렐루 활성화 함수는 양의 동차성을 가지며 출력 공간의 볼록 분석을 가능하게 하기 때문이다.
• 결과적으로 충분한 너비(큰 인수 크기)를 가진 아키텍처는 국소 탐색을 통한 전역 최적화에 더 유리하다는 것이 제안된다.
• 네트워크 사상의 동차성 정도와 정규화 항 간의 균형을 맞추는 것이 전역 최적성을 확보하는 데 핵심적이다.
• 이 프레임워크는 단순히 네트워크의 너비를 늘리는 것으로도 충분히 전역 수렴을 보장할 수 있음을 암시한다. 명시적 정규화 없이도 말이다.