[논문 리뷰] Dynamic Optimization of Neural Network Structures Using Probabilistic Modeling

Shinichi Shirakawa, Yasushi Iwata외 1명|arXiv (Cornell University)|2018. 01. 23.

Advanced Neural Network Applications참고 문헌 24인용 수 11

한 줄 요약

이 논문은 연결, 활성화 유형, 레이어 등 아키텍처 구성 요소를 베르누이 분포를 포함한 파라미터화된 분포를 통해 확률적 변수로 모델링하여, 경사 기반 최적화를 통해 가중치와 아키텍처 구조 파라미터를 동시에 학습할 수 있는 확률적 프레임워크를 제안한다. 이 방법은 파라미터 수를 줄이며 경쟁적인 성능을 달성하며, CIFAR-100에서 DenseNet의 10% 가중치 감소 없이 정확도 손실 없이 성능을 유지한다.

ABSTRACT

Deep neural networks (DNNs) are powerful machine learning models and have succeeded in various artificial intelligence tasks. Although various architectures and modules for the DNNs have been proposed, selecting and designing the appropriate network structure for a target problem is a challenging task. In this paper, we propose a method to simultaneously optimize the network structure and weight parameters during neural network training. We consider a probability distribution that generates network structures, and optimize the parameters of the distribution instead of directly optimizing the network structure. The proposed method can apply to the various network structure optimization problems under the same framework. We apply the proposed method to several structure optimization problems such as selection of layers, selection of unit types, and selection of connections using the MNIST, CIFAR-10, and CIFAR-100 datasets. The experimental results show that the proposed method can find the appropriate and competitive network structures.

연구 동기 및 목표

• 딥 네ural 네트워크(DNN) 아키텍처 선택의 과제를 해결하기 위해, 레이어 깊이, 유닛 유형, 연결성과 같은 요소를 수동으로 설정하는 데 드는 시간과 노력을 줄이기 위해.
• 반복적인 학습이 필요한 정적 하이퍼파rameter 최적화(예: 베이지안 최적화)의 비효율성을 해결하기 위해.
• 단일 학습 루프 내에서 네트워크 가중치와 구조적 구성 요소를 동시에 학습하는 동적 최적화 방법을 개발하여 계산 효율성을 향상시키기 위해.
• 기존의 가중치 파라미터에 대해 가역적인 아키텍처 파라미터가 필요로 하는 다른 미분 가능 아키텍처 탐색 방법을 넘어서, 비가역적인 구조적 선택을 확률적 모델링을 통해 유연성을 향상시키기 위해.
• 다양한 구조 최적화 작업(예: 연결 프루닝, 활성화 함수 선택, 레이어 스킵 최적화)에 대해 본 방법의 효과성을 입증하기 위해.

제안 방법

• 네트워크 구조 파라미터(예: 연결, 활성화 함수)를 파라미터화된 확률 분포를 사용하여 확률 변수로 모델링하며, 특히 연결 존재 여부나 유닛 드롭아웃과 같은 이진 결정을 표현하기 위해 베르누이 분포를 사용한다.
• 목적 함수는 네트워크 아키텍처 분포에 대한 기대 손실로 정의되며, 이는 네트워크 가중치와 분포 파라미터의 경사 기반 최적화를 가능하게 한다.
• 분포 파라미터(예: 베르누이 확률)는 확률적 경사 하강법을 사용하여 최적화되며, 이는 가중치와 구조적 확률이 동시에 업데이트되는 엔드 투 엔드 학습을 가능하게 한다.
• 이 프레임워크는 연결, 활성화 함수, 레이어 스킵과 같은 다수의 구조적 구성 요소를 통합된 확률적 공식화 내에서 동시에 최적화할 수 있다.
• 재구성 기법을 사용하여 확률적 구조 파라미터를 통해 기울기를 역전파하여, 기저 구조가 비가역적이더라도 가역적 학습이 가능하게 한다.
• 이 방법은 일반적이고 확장 가능하다: 논문은 베르누이 분포에 집중하지만, 더 복잡한 구조적 선택을 위해 다른 지수족 분포(예: 다항분포)로도 적용 가능하다.

실험 결과

연구 질문

• RQ1 통합된 확률적 프레임워크는 학습 중에 연결, 활성화 함수, 레이어 스킵과 같은 다양한 종류의 신경망 구조적 구성 요소를 동시에 동적으로 최적화할 수 있는가?
• RQ2 제안된 방법은 정적 최적화 기법(예: 베이지안 최적화)과 비교해 정확도와 학습 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 본 방법은 정확도를 유지하면서도 자동으로 연결 또는 유닛을 프루닝하여 모델 복잡도(예: 파라미터 수)를 얼마나 줄일 수 있는가?
• RQ4 본 방법은 인간 전문가가 쉽게 설계하기 어려운 비표준이지만 효과적인 신경망 아키텍처를 발견할 수 있는가?
• RQ5 다양한 데이터셋과 네트워크 유형(예: DenseNet)에서, 구조 하이퍼파라미터 최적화를 위해 본 방법이 얼마나 일반화되는가?

주요 결과

• 제안된 방법은 CIFAR-10 및 CIFAR-100 데이터셋에서 표준 DenseNet과 최신 정적 아키텍처 탐색 기법과 비교해 경쟁적인 테스트 오차율을 달성했다.
• CIFAR-100에서 연결 수를 약 70개 감소시켰지만 성능을 유지하여 총 가중치 파라미터 수를 10% 감소시켰다.
• 연결에 대한 학습된 베르누이 파라미터는 주로 0.0 또는 1.0에 가까워, 높은 확률로 불필요한 연결을 프루닝한 것으로 나타났다.
• 본 방법은 계산 효율성이 뛰어나, 최종 정확도는 다소 낮을 수 있으나 베이지안 최적화와 같은 정적 최적화 기법보다 학습 시간에서 뛰어난 성능을 보였다.
• 본 프레임워크는 레이어 스킵, 활성화 함수 혼합 비율, 연결 등 여러 구조적 구성 요소를 동시에 최적화하여, 다양한 작업에 대한 유연성과 일반화 능력을 입증했다.
• 샘플된 구조를 사용한 확률적 예측은 기대 구조를 사용한 결정론적 추론보다 略적으로 우수했지만, 유의미한 차이는 없었으며, 기대 구조의 강건성을 시사했다.