[논문 리뷰] Deep Radial Kernel Networks: Approximating Radially Symmetric Functions with Deep Networks

Brendan McCane, Lech Szymanski|arXiv (Cornell University)|2017. 03. 09.

Gaussian Processes and Bayesian Inference참고 문헌 7인용 수 10

한 줄 요약

이 논문은 이론적으로 타당한 깊이 있는 아키텍처인 딥 레디얼 커널 네트워크(Deep Radial Kernel Networks, DRKN)를 제안한다. 이는 구성적인 접기 기반 메커니즘을 통해 원형 대칭 함수—특히 가우시안 커널 SVM—를 효율적으로 근사한다. 이 방법은 최적화 설정 외에 추가 하이퍼파라미터 조정 없이 엔드 투 엔드 백프로파게이션 학습을 통해 표준 RBF 네트워크를 능가하고, 종종 베이스라인 SVM보다도 향상된다.

ABSTRACT

We prove that a particular deep network architecture is more efficient at approximating radially symmetric functions than the best known 2 or 3 layer networks. We use this architecture to approximate Gaussian kernel SVMs, and subsequently improve upon them with further training. The architecture and initial weights of the Deep Radial Kernel Network are completely specified by the SVM and therefore sidesteps the problem of empirically choosing an appropriate deep network architecture.

연구 동기 및 목표

• 깊이 있는 네트워크가 원형 대칭 함수에 대해 얕은 네트워크보다 성능이 뛰어나는 이유를 이론적으로 설명하는 데에 격차를 메운다.
• SVM 기반의 결정론적 구성 방식을 통해 깊이 있는 네트워크 아키텍처 설계의 경험적 난이도를 극복한다.
• 기저가 되는 가우시안 커널 SVM을 향상시키기 위해 미분 가능한 학습을 수행하면서도 커널의 구조를 유지하는 방법을 개발한다.
• 더 깊은 네트워크가 얕은 네트워크보다 원형 함수를 훨씬 적은 뉴런 수로 더 효율적으로 근사할 수 있음을 보여준다.
• 깊이 있는 네트워크의 표현력에 대한 이론적 통찰을 커널 방법과 분류 응용 분야에 실질적으로 연결한다.

제안 방법

• 각 레이어에서 입력 볼륨을 반으로 줄이는 재귀적 공간 접기 변환을 기반으로 한 깊이 있는 네트워크 아키텍처를 구성한다.
• ReLU 활성화 함수를 사용하여 원형 대칭을 유지하고 원형 함수의 효율적 근사를 가능하게 하는 접기 연산을 구현한다.
• 사전에 학습된 가우시안 커널 SVM의 서포트 벡터와 커널 파라미터를 사용하여 네트워크를 초기화함으로써 커널 함수에 직접적인 매핑을 보장한다.
• 접힌 ReLU 레이어의 조합을 통해 원형 커널 함수를 근사하고, 커널의 행동을 모방하는 깊이 있는 네트워크를 형성한다.
• 모든 네트워크를 백프로파게이션을 사용해 엔드 투 엔드로 학습시켜 원래 SVM의 커널 파라미터를 정밀 조정하고 일반화 성능을 향상시킨다.
• 비교를 위해 RBF 네트워크를 베이스라인으로 사용하며, SVM과 동일하게 초기화하지만 모든 가중치를 학습 가능한 상태로 설정한다.

실험 결과

연구 질문

• RQ1 이론적으로 얕은 네트워크보다 더 효율적으로 원형 대칭 함수를 근사할 수 있는 깊이 있는 네트워크 아키텍처를 구성할 수 있는가?
• RQ2 서포트 벡터와 커널 너비 등의 SVM 파라미터로부터 구축된 깊이 있는 네트워크가 엔드 투 엔드 학습을 통해 원래 SVM을 능가하는가?
• RQ3 2-또는 3층 네트워크와 비교했을 때, 더 깊은 아키텍처가 원형 함수 근사에 어떤 이론적 우월성을 가지는가?
• RQ4 접기 메커니즘이 얼마나 적은 뉴런 수로도 원형 함수를 효율적으로 근사하는 데 기여하는가?
• RQ5 DRKN의 성능 향상 요인이 가중치 적응 때문인지, 단지 네트워크 구조 때문인가?

주요 결과

• 제안된 DRKN 아키텍처는 원형 대칭 함수를 근사하기 위해 필요한 뉴런 수에 대해 이전의 Eldan과 Shamir(2016)의 3층 구조를 초월하는 새로운 상한을 확립한다.
• 8개의 표준 데이터셋에서 DRKN은 원래 SVM보다 3개의 케이스에서 승리했고, 2개에서는 중간 정도의 향상이 있었으며, 3개에서는 동일한 성능를 보였다. 반면, 학습 가능한 RBF 네트워크의 성능은 원래 SVM과 동일했다.
• DRKN은 covtype 데이터셋에서 학습 이상 현상을 보였는데, 이는 최적화 노이즈 때문일 가능성이 높지만, 영향을 최소화하고 빠르게 회복되었다.
• 추가 하이퍼파라미터 조정 없이 최적화 설정 외에는 필요 없어, 표준 SVM의 즉각적인 대체제로 활용 가능하다.
• 네트워크 크기가 클 경우 학습 속도가 느려질 수 있지만, 이 방법은 Core Vector Machine 및 SimpleSVM 등의 확장 가능한 SVM 변형과도 호환된다.
• 결과는 성능 향상이 단지 아키텍처의 깊이 때문이 아니라, 커널 구조의 미분 가능한 정밀 조정에서 비롯된다는 것을 시사한다.