[논문 리뷰] Deep Learning as a Mixed Convex-Combinatorial Optimization Problem

Abram L. Friesen, Pedro Domingos|arXiv (Cornell University)|2017. 10. 31.

Machine Learning and Algorithms인용 수 2

한 줄 요약

이 논문은 딥 러닝에서 하드-스위치 활성화를 혼합 볼록-조합 최적화 문제로 재구성하여, 네트워크를 선형으로 분리 가능한 퍼셉트론으로 분해하는 순환적 미니배치 최적화를 통해 원칙적인 학습을 가능하게 한다. 이는 AlexNet과 ResNet-18에 대해 ImageNet에서 직선 추정기보다 분류 정확도를 향상시킨다.

ABSTRACT

As neural networks grow deeper and wider, learning networks with hard-threshold activations is becoming increasingly important, both for network quantization, which can drastically reduce time and energy requirements, and for creating large integrated systems of deep networks, which may have non-differentiable components and must avoid vanishing and exploding gradients for effective learning. However, since gradient descent is not applicable to hard-threshold functions, it is not clear how to learn networks of them in a principled way. We address this problem by observing that setting targets for hard-threshold hidden units in order to minimize loss is a discrete optimization problem, and can be solved as such. The discrete optimization goal is to find a set of targets such that each unit, including the output, has a linearly separable problem to solve. Given these targets, the network decomposes into individual perceptrons, which can then be learned with standard convex approaches. Based on this, we develop a recursive mini-batch algorithm for learning deep hard-threshold networks that includes the popular but poorly justified straight-through estimator as a special case. Empirically, we show that our algorithm improves classification accuracy in a number of settings, including for AlexNet and ResNet-18 on ImageNet, when compared to the straight-through estimator.

연구 동기 및 목표

• 비가역적인 활성화 함수로 인해 기존 경사 하강법과 호환되지 않는 하드-스위치 활성화를 가진 딥 네트워크 학습의 과제를 해결한다.
• 이론적 근거가 부족하고 종종 최적 성능을 이끌지 못하는 직선 추정기의 한계를 극복한다.
• 비가역 성분을 포함한 대규모 딥 네트워크에서 효과적인 학습을 가능하게 하기 위해 문제를 이산 최적화로 재구성하고, 볼록 부분문제를 포함한다.
• 순환적 미니배치 알고리즘을 개발하여 하드-스위치 유닛의 최적 타겟을 체계적으로 해결함으로써 기울기 전파와 안정성을 보장한다.

제안 방법

• 숨은 유닛의 타겟을 선택하여 선형 분리 가능성을 보장함으로써, 하드-스위치 네트워크 학습을 이산 최적화 문제로 재구성한다.
• 각 유닛이 볼록이고 선형으로 분리 가능한 최적화 문제를 해결하도록 타겟을 설정하여 네트워크를 개별 퍼셉트론으로 분해한다.
• 순환적 미니배치 알고리즘을 사용하여 타겟과 가중치를 반복적으로 업데이트하며, 각 퍼셉트론에 대해 볼록 최적화 기법을 활용한다.
• 타겟을 명시적 최적화 없이 가장 가까운 유효한 값으로 설정할 경우, 직선 추정기를 특수 케이스로 통합한다.
• 대규모 데이터셋인 ImageNet과 같은 환경에서 학습 효율성과 확장성을 유지하기 위해 알고리즘을 미니배치 환경에 적용한다.
• 백프로파게이션 동안 네트워크의 기능적 행동을 유지하는 일관된 타겟 할당을 통해 기울기 전파를 보장한다.

실험 결과

연구 질문

• RQ1 비가역적인 활성화 함수를 가진 하드-스위치 신경망은 효과적으로 학습될 수 있는가?
• RQ2 원칙적인 최적화 프레임워크를 통해 직선 추정기는 어떻게 정당화되거나 향상될 수 있는가?
• RQ3 하드-스위치 학습을 혼합 볼록-조합 문제로 재구성하면 기존 히우리스틱 방법보다 성능 향상이 이루어지는가?
• RQ4 타겟 할당을 통한 순환적 미니배치 최적화는 ImageNet과 같은 표준 벤치마크에서 일반화 및 정확도 향상에 기여하는가?

주요 결과

• 제안된 알고리즘은 ImageNet에서 AlexNet과 ResNet-18을 학습시킬 때 직선 추정기보다 높은 분류 정확도를 달성한다.
• 이 방법은 문제를 볼록 최적화의 연속으로 변환함으로써 하드-스위치 네트워크 학습을 위한 이론적 프레임워크를 제공한다.
• 직선 추정기는 제안된 알고리즘의 특수 케이스로 공식적으로 통합되어, 그 사용에 대한 이론적 근거를 제공한다.
• 최적 타겟 할당을 통해 선형 분리 가능성을 보장함으로써, 깊은 아키텍처에서 기울기 소실 및 폭발 문제를 피할 수 있다.
• 실험 결과는 다양한 네트워크 아키텍처에서 일관된 성능 향상을 입증하며, 혼합 볼록 조합 접근법의 효과성을 검증한다.
• 순환적 미니배치 알고리즘은 성능 향상을 유지하면서도 깊은 하드-스위치 네트워크의 확장 가능한 학습을 가능하게 한다.