[논문 리뷰] Implicit Convex Regularizers of CNN Architectures: Convex Optimization of Two- and Three-Layer Networks in Polynomial Time

Tolga Ergen, Mert Pilancı|arXiv (Cornell University)|2020. 06. 26.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 ReLU 활성화를 갖는 두 층 및 세 층 컨볼루션 신경망(CNN) 학습을 위한 최초의 다항식 시간 내의 볼록 최적화 공식을 제안한다. 반한 무한 대칭 이론을 활용하여 등가의 볼록 프로그램을 유도한다. 이는 아키텍처 선택, 예를 들어 풀링 유형과 가중치 공유가 ℓ₁, ℓ₂ 및 노르름과 같은 암묵적 볼록 정규화를 유도함을 드러내며, 데이터 크기, 차원 수 및 뉴런 수에 대해 다항식 시간 내에 전역 최적화를 가능하게 한다.

ABSTRACT

We study training of Convolutional Neural Networks (CNNs) with ReLU activations and introduce exact convex optimization formulations with a polynomial complexity with respect to the number of data samples, the number of neurons, and data dimension. More specifically, we develop a convex analytic framework utilizing semi-infinite duality to obtain equivalent convex optimization problems for several two- and three-layer CNN architectures. We first prove that two-layer CNNs can be globally optimized via an $\\ell_2$ norm regularized convex program. We then show that multi-layer circular CNN training problems with a single ReLU layer are equivalent to an $\\ell_1$ regularized convex program that encourages sparsity in the spectral domain. We also extend these results to three-layer CNNs with two ReLU layers. Furthermore, we present extensions of our approach to different pooling methods, which elucidates the implicit architectural bias as convex regularizers.

연구 동기 및 목표

• ReLU 활성화를 갖는 비볼록 CNN 학습에 대한 이론적 이해 부족 문제를 해결하기 위해.
• 계산적으로 다룰 수 있는 전역 최적 학습 방법을 얕은 CNN에 대해 개발하기 위해.
• 풀링 및 가중치 공유와 같은 아키텍처 선택이 최적화 문제에 어떻게 암묵적 정규화를 유도하는지 규명하기 위해.
• CNN 아키텍처와 신호 처리 및 압축 측정 이론에서 잘 알려진 볼록 정규화 기법 간의 연결 고리를 설정하기 위해.
• 두 층 및 세 층 CNN에 대해 ReLU 유닛을 갖는 학습을 위한 다항식 시간 프레임워크를 제공하기 위해.

제안 방법

• ReLU 활성화를 갖는 두 층 및 세 층 CNN에 대해 등가의 볼록 프로그램을 도출하기 위해 반한 무한 대칭을 활용한다.
• ReLU 및 컨볼루션 레이어의 구조를 활용하여 비볼록 학습 문제를 유한 차원의 볼록 프로그램으로 변환한다.
• 라그랑주 이중성 및 강한 이중성을 적용하여 다항식 시간 내에 해를 구할 수 있는 이중 형식을 도출한다.
• 이중 문제를 암묵적 정규화를 반영하는 새로운 변수로 표현하기 위해 변수 변경을 도입한다.
• 아키텍처에 따라 ℓ₁, ℓ₂ 또는 노르름 정규화 항이 해당하는 등가의 볼록 프로그램을 유도한다.
• 다양한 풀링 전략(최대 풀링, 평균 풀링, 평탄화)을 분석하고, 각각 다른 볼록 정규화를 유도하는 방식을 보여준다.

실험 결과

연구 질문

• RQ1 ReLU 활성화를 갖는 두 층 및 세 층 CNN은 다항식 시간 내에 전역 최적화가 가능한가?
• RQ2 가중치 공유 및 풀링이 있는 ReLU CNN 아키텍처가 암묵적으로 강제하는 볼록 정규화는 무엇인가?
• RQ3 다양한 풀링 메커니즘(예: 최대 풀링 대비 평균 풀링)은 CNN의 암묵적 정규화에 어떻게 영향을 미치는가?
• RQ4 얕은 CNN의 학습은 알려진 정규화 기법을 갖는 유한 차원의 볼록 최적화 문제로 재정의할 수 있는가?
• RQ5 원형 컨볼루션과 ReLU 활성화는 최적화 과정의 암묵적 편향을 어떻게 형성하는가?

주요 결과

• ReLU 활성화를 갖는 두 층 CNN은 ℓ₂-노름 정규화가 포함된 볼록 프로그램을 통해 전역 최적화가 가능하다.
• 단일 ReLU 레이어를 갖는 다층 원형 CNN은 스펙트럼 도메인에서 희박성을 촉진하는 ℓ₁-정규화가 포함된 볼록 프로그램과 동치이다.
• 두 개의 ReLU 레이어를 갖는 세 층 CNN은 암묵적 ℓ₁-노름 정규화가 포함된 볼록 프로그램을 통해 전역 최적화된다.
• 최대 풀링 및 평균 풀링과 같은 풀링 전략은 ℓ₁에서 노르름에 이르기까지 다양한 볼록 정규화를 유도한다.
• 제안된 볼록 공식은 데이터 샘플 수, 데이터 차원 수 및 뉴런 수에 대해 다항식 시간 내에 해를 구할 수 있다.
• 이 프레임워크는 CNN 아키텍처 선택이 잘 알려진 볼록 정규화를 암묵적으로 강제함을 드러내며, CNN 학습을 기존의 볼록 최적화 및 신호 처리 이론과 연결한다.