[논문 리뷰] End-to-end Learning of a Convolutional Neural Network via Deep Tensor Decomposition

Samet Oymak, Mahdi Soltanolkotabi|arXiv (Cornell University)|2018. 05. 16.

Tensor decomposition and applications인용 수 8

한 줄 요약

이 논문은 학습 데이터의 랭크-1 텐서 분해를 통해 컨볼루션 신경망(CNN) 가중치를 학습하는 새로운 엔드 투 엔드 방법인 딥 텐서 분해(DeepTD)를 제안한다. 표본 수가 총 파라미터 수를 초과할 경우, 식별 가능한 컨볼루션 커널을 부호/스케일의 모호성까지 고려해 정확히 복원할 수 있음을 증명하며, 실현 가능 모델 하에서 깊은 CNN 훈련의 데이터 효율성과 이론적 보장을 확립한다.

ABSTRACT

In this paper we study the problem of learning the weights of a deep convolutional neural network. We consider a network where convolutions are carried out over non-overlapping patches with a single kernel in each layer. We develop an algorithm for simultaneously learning all the kernels from the training data. Our approach dubbed Deep Tensor Decomposition (DeepTD) is based on a rank-1 tensor decomposition. We theoretically investigate DeepTD under a realizable model for the training data where the inputs are chosen i.i.d. from a Gaussian distribution and the labels are generated according to planted convolutional kernels. We show that DeepTD is data-efficient and provably works as soon as the sample size exceeds the total number of convolutional weights in the network. We carry out a variety of numerical experiments to investigate the effectiveness of DeepTD and verify our theoretical findings.

연구 동기 및 목표

• 기울기 기반 최적화에 의존하지 않고도 깊은 CNN 가중치를 이론적으로 탄탄한 기반을 바탕으로 엔드 투 엔드로 학습할 수 있는 알고리즘을 개발하기 위해.
• 깊고 과잉 파rameter화된 CNN 훈련의 경험적 성공에도 불구하고 그 이론적 기초가 부족한 문제를 해결하기 위해.
• 가우시안 입력과 심재된 커널을 가진 실현 가능 모델 하에서 CNN 학습의 데이터 효율성과 표본 복잡도의 경계를 설정하기 위해.
• 텐서 분해 기법을 딥 러닝과 연결하여, 깊은 신경망의 초기화 및 이론적 분석을 위한 새로운 길을 제공하기 위해.

제안 방법

• 비중첩 컨볼루션의 구조를 활용하여 학습 데이터의 특징과 레이블에서 고차원 텐서를 구성하기.
• 실현 가능 모델 하에서, 인구 텐서가 약간의 근사로 랭크-1임을 활용하며, 이 요소들이 커널 방향을 나타냄.
• 유한한 데이터로부터 랭크-1 구조를 추정하기 위해 경험적 텐서 근사법을 사용하며, 오차는 표본 수가 증가함에 따라 감소함.
• 경험적 텐서에서 커널 방향을 추출하기 위해 텐서 분해 알고리즘을 적용하여 CNN 가중치의 엔드 투 엔드 복원을 가능하게 하기.
• 표본 수가 총 파라미터 수를 초과할 경우 커널 복원이 가능하다는 이론적 경계를 설정하기.
• 랭크-1 구조와 집중 부등식을 활용하여 커널 복원 시 발생하는 부호 및 스케일의 모호성을 다루기.

실험 결과

연구 질문

• RQ1 기울기 기반 최적화에 의존하지 않고, 오직 학습 데이터만을 사용하여 깊은 CNN의 가중치를 엔드 투 엔드로 증명 가능하게 학습시킬 수 있는가?
• RQ2 실현 가능 모델 하에서 깊은 CNN의 성공적인 커널 복원을 위해 필요한 최소 표본 수는 얼마인가?
• RQ3 유한한 데이터로부터 구성된 경험적 텐서가 인구 텐서를 얼마나 잘 근사하는가? 더 많은 데이터가 제공될 경우 이 근사가 어떻게 향상되는가?
• RQ4 깊이와 비선형성으로 인해 깊은 비선형 아키텍처인 CNN에 대해 텐서 분해 기법을 어느 정도 적용할 수 있는가?
• RQ5 데이터 텐서의 랭크-1 구조를 활용하여 실질적인 CNN 훈련에서 확률적 경사 하강법의 초기화 또는 지도를 내릴 수 있는가?

주요 결과

• DeepTD는 네트워크의 총 파라미터 수를 초과하는 표본 수가 확보되면, 부호와 스케일의 모호성까지 고려한 컨볼루션 커널 방향을 증명 가능하게 복원한다.
• 경험적 텐서와 인구 텐서 사이의 격차는 표본 수가 증가함에 따라 감소하며, 표본 수가 파라미터 수와 비례할 경우 거의 없어진다.
• 알고리즘이 데이터 효율성을 확보하며, 성공적인 복원을 위해 파라미터 수와 비슷한 수준의 표본 수만 필요로 한다.
• 이론적 분석을 통해 표본 수가 파라미터 수와 네트워크 깊이를 포함한 조건을 만족할 경우, 학습된 모델의 일반화 오차가 높은 확률로 유계임을 보여준다.
• 함수 클래스의 커버링 수가 유계이므로, 집중 부등식을 활용하여 균일 수렴 및 일반화 경계를 도출할 수 있다.
• 실험 결과는 이론적 발견을 확인하며, 다양한 네트워크 깊이와 아키텍처에서 효과적인 커널 복원과 강건성을 보여준다.