[논문 리뷰] Convexified Convolutional Neural Networks

Yuchen Zhang, Percy Liang외 1명|arXiv (Cornell University)|2016. 09. 04.

Stochastic Gradient Optimization Techniques참고 문헌 42인용 수 18

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS) 표현과 핵형 노름 정규화를 통해 매개변수 공유를 유지하는 두층 CNN의 볼록화된 형태인 볼록화된 컨volution 신경망(CCNNs)을 소개한다. 이 방법은 일반화 오차가 최적의 CNN 성능에 수렴함을 보장하며, 이론적 보장과 비볼록 CNN 및 기타 모델과 경쟁 가능한 경험적 성능을 달성한다.

ABSTRACT

We describe the class of convexified convolutional neural networks (CCNNs), which capture the parameter sharing of convolutional neural networks in a convex manner. By representing the nonlinear convolutional filters as vectors in a reproducing kernel Hilbert space, the CNN parameters can be represented as a low-rank matrix, which can be relaxed to obtain a convex optimization problem. For learning two-layer convolutional neural networks, we prove that the generalization error obtained by a convexified CNN converges to that of the best possible CNN. For learning deeper networks, we train CCNNs in a layer-wise manner. Empirically, CCNNs achieve performance competitive with CNNs trained by backpropagation, SVMs, fully-connected neural networks, stacked denoising auto-encoders, and other baseline methods.

연구 동기 및 목표

• 역전파를 통한 표준 CNN 훈련의 비볼록성과 낮은 통계적 해석 가능성 문제를 해결하기 위해.
• 특히 매개변수 공유와 국소 수신장과 같은 구조적 이점을 유지하는 볼록 최적화 프레임워크를 개발하기 위해.
• 표본 크기가 증가함에 따라 CCNN의 일반화 오차가 최적의 CNN 성능에 수렴함을 증명하기 위해.
• 그리디한 계층별 훈련 히우리즘을 사용하여 더 깊은 네트워크로 볼록화 접근법을 확장하기 위해.
• 표준 비전 벤치마크에서 CNN, SVM 및 기타 기준 모델과의 경험적 검증을 위해.

제안 방법

• 비선형 필터를 재생 커널 힐버트 공간(RKHS)의 원소로 표현하여 비선형 필터의 기능적 표현을 가능하게 한다.
• 계수 벡터의 외적 곱으로 구성된 저질서 행렬을 사용하여 필터 가중치를 매개변수화함으로써 컨volution 구조를 유지한다.
• 저질서 제약 조건을 핵형 노름 펜alties로 완화하여 비볼록 문제를 볼록 최적화 문제로 변환한다.
• 결과로 생기는 볼록 문제를 효율적이고 최적으로 해결하기 위해 투영된 경사하강법을 사용한다.
• 더 깊은 네트워크의 경우, 각 계층을 사전 훈련하는 CCNN 프레임워크를 사용하는 그리디한 계층별 훈련 전략을 적용한다.
• 평균 풀링 및 다중 채널 입력 처리와 같은 확장 기능을 볼록 프레임워크 내부에 통합한다.

실험 결과

연구 질문

• RQ1 두층 CNN의 비볼록 훈련이 표현 능력을 유지하면서 볼록화될 수 있는가?
• RQ2 볼록화된 모델이 무한한 데이터를 가정할 때 최적의 CNN 성능에 가까운 일반화 오차를 달성하는가?
• RQ3 매개변수 공유가 볼록화된 모델의 표본 복잡도에 풀연결 네트워크에 비해 어떤 영향을 미치는가?
• RQ4 볼록화 프레임워크를 깊은 네트워크로 확장할 수 있으며, 수용 가능한 성능을 달성할 수 있는가?
• RQ5 표준 비전 데이터셋에서 CCNN의 성능은 표준 CNN 및 기타 기준 모델과 비교해 어떻게 되는가?

주요 결과

• CCNN의 일반화 오차는 표본 크기에 따라 다항식적으로 감소하는 모델 복잡도 항을 가진 최적의 두층 CNN의 오라클 리스크에 수렴한다.
• CCNN의 표본 복잡도는 볼록화된 풀연결 네트워크보다 상당히 낮아, 매개변수 공유의 이점이 입증된다.
• MNIST 및 그 변형에서 CCNN은 볼록 모델 중 최고 성능을 기록한다.
• CIFAR-10에서 CCNN은 동일한 깊이의 CNN 및 기타 비볼록 최적화 기준 모델을 모두 능가한다.
• 사전 훈련된 CNN 필터를 기반으로 CCNN을 구축하면 원래 CNN의 성능이 향상되며, 이는 상호 호환성과 향상 잠재력이 있음을 시사한다.
• 이론적 분석 결과 CCNN의 라데마처 복잡도가 유계이며 표본 크기에 따라 감소함을 보여, 일반화를 뒷받침한다.