[논문 리뷰] Lifted Neural Networks

Armin Askari, Geoffrey Négiar외 2명|arXiv (Cornell University)|2018. 05. 03.

Advanced Neural Network Applications참고 문헌 16인용 수 14

한 줄 요약

이 논문은 피드포워드 신경망을 재구성하는 새로운 프레임워크인 업리프트드 네ural 네트워크(_lifted neural networks_)를 소개한다. 이 프레임워크는 단조 증가 활성화 함수를 볼록 최적화 문제의 해로 표현함으로써, 병렬화 가능하고 단순한 부분 문제를 가진 블록-좌표 강하( block-coordinate descent) 학습을 가능하게 한다. 주요 기여는 이 방법으로 학습된 가중치가 표준 신경망의 우수한 초기화를 제공하며, MNIST에서 수렴 속도를 크게 향상시키고 테스트 정확도를 향상시킨다는 점이며, 한 아키텍처에서는 95.8%의 정확도를 달성했다.

ABSTRACT

We describe a novel family of models of multi- layer feedforward neural networks in which the activation functions are encoded via penalties in the training problem. Our approach is based on representing a non-decreasing activation function as the argmin of an appropriate convex optimiza- tion problem. The new framework allows for algo- rithms such as block-coordinate descent methods to be applied, in which each step is composed of a simple (no hidden layer) supervised learning problem that is parallelizable across data points and/or layers. Experiments indicate that the pro- posed models provide excellent initial guesses for weights for standard neural networks. In addi- tion, the model provides avenues for interesting extensions, such as robustness against noisy in- puts and optimizing over parameters in activation functions.

연구 동기 및 목표

• 확률적 경사하강법을 사용한 표준 신경망 학습에서 느린 수렴과 초기화 민감성 문제를 해결하기 위해.
• 활성화 함수를 모델링하기 위해 볼록 이완을 활용하는 비기울기 기반 최적화 프레임워크를 개발하기 위해.
• 랜덤 및 구조적 가중치 초기화 방법보다 뛰어난 성능을 보이는 학습 가능한 초기화 기법을 만들기 위해.
• 입력 노이즈에 대한 강건성, 활성화 함수 매개변수 최적화, 토폴로지 제약 조건 등의 새로운 확장 기능을 가능하게 하기 위해.

제안 방법

• 각 비감소 활성화 함수를 볼록 또는 이-볼록 최적화 문제의 최소화값으로 표현하여 학습 목표에 통합한다.
• 비부드러운 신경망 학습 문제를 확장된 변수 공간에서의 부드럽고 제약 조건이 있는 최적화 문제로 변환한다.
• 블록-좌표 강하를 사용하여 네트워크 가중치와 활성화 관련 변수를 번갈아 최적화하며, 각 부분 문제는 단순한 히든 레이어가 없는 지도 학습 과제가 된다.
• 활성화값과 전활성화값 사이의 등식 제약 조건을 강제하기 위해 페널티 항(예: l2)을 적용한다.
• 적절한 볼록 표현을 통해 ReLU, Leaky ReLU 및 기타 단조 증가 활성화 함수를 다룰 수 있도록 프레임워크를 확장한다.
• 학습된 업리프트드 네트워크의 가중치를 표준 피드포워드 네트워크의 초기화로 사용하여 랜덤 또는 히우리스틱 초기화를 회피한다.

실험 결과

연구 질문

• RQ1 활성화 함수를 볼록 최적화 문제의 해로 재구성함으로써, 딥 네트워크의 비기울기 기반 학습을 가능하게 할 수 있는가?
• RQ2 제안된 업리프트드 프레임워크가 표준 신경망에 대해 표준 초기화 기법보다 더 우수한 초기 가중치를 제공하는가?
• RQ3 업리프트드 모델을 사용하면 표준 학습 환경에서 수렴 속도를 가속화하고 일반화 성능을 향상시킬 수 있는가?
• RQ4 이 프레임워크는 입력 불확실성에 대한 강건성 또는 활성화 함수 매개변수 최적화와 같은 확장을 어떻게 가능하게 하는가?
• RQ5 업리프트드 네트워크의 가중치가 다양한 아키텍처와 데이터셋에서 근사 최적의 초기화로 기능할 수 있는가?

주요 결과

• 업리프트드 신경망 모델은 400-200-100-50 아키텍처를 사용하여 MNIST 데이터셋에서 95.8%의 테스트 정확도를 달성했으며, 다양한 초기화 기법을 사용한 표준 네트워크를 모두 능가했다.
• 초기화로 사용되었을 때, 업리프트드 모델은 표준 네트워크의 수렴 속도를 빠르게 하고 더 높은 테스트 정확도를 달성했으며, 한 아키텍처에서는 첫 몇 에포크 내에 최종 정확도의 90%에 도달했다.
• 모든 테스트된 아키텍처와 학습률에서, 업리프트드 모델은 Xavier, 정규, 분산 스케일링 초기화 방법을 사용한 네트워크보다 일관되게 뛰어난 성능을 보였다.
• 이 방법은 초기화 분산에 대해 강건했으며, 더 깊은 아키텍처에서는 표준 초기화 대비 최대 10%포인트의 정확도 향상을 보였다.
• 프레임워크는 효율적이고 병렬화 가능한 학습 단계를 제공했으며, Leaky ReLU 기울기와 같은 활성화 함수 매개변수 최적화를 체계적으로 가능하게 했다.
• 이 방법은 컨볼루션 및 순환 네트워크를 포함한 다른 아키텍처로 일반화되었으며, 강건 최적화 및 유니터리 제약 조건과 같은 확장 기능도 지원한다.