[논문 리뷰] Non-Differentiable Supervised Learning with Evolution Strategies and Hybrid Methods

Karel Lenc, Erich Elsen외 2명|arXiv (Cornell University)|2019. 06. 07.

Music and Audio Processing참고 문헌 43인용 수 6

한 줄 요약

이 논문은 미분 가능한 가중치에 대한 기울기 기반 최적화와 비가역적인 희소성 마스크를 학습하는 진화 전략(ES)을 조합하는 하이브리드 훈련 접근법을 제안한다. 장치 간 병렬 처리를 통해 ES를 적용함으로써 표준 SGD에 비해 최소한의 훈련 오버헤드로 경쟁 가능한 성능을 달성하며, 밀도 높은 사전 훈련 단계 없이도 희소 모델을 처음부터 엔드 투 엔드로 훈련할 수 있다.

ABSTRACT

In this work we show that Evolution Strategies (ES) are a viable method for learning non-differentiable parameters of large supervised models. ES are black-box optimization algorithms that estimate distributions of model parameters; however they have only been used for relatively small problems so far. We show that it is possible to scale ES to more complex tasks and models with millions of parameters. While using ES for differentiable parameters is computationally impractical (although possible), we show that a hybrid approach is practically feasible in the case where the model has both differentiable and non-differentiable parameters. In this approach we use standard gradient-based methods for learning differentiable weights, while using ES for learning non-differentiable parameters - in our case sparsity masks of the weights. This proposed method is surprisingly competitive, and when parallelized over multiple devices has only negligible training time overhead compared to training with gradient descent. Additionally, this method allows to train sparse models from the first training step, so they can be much larger than when using methods that require training dense models first. We present results and analysis of supervised feed-forward models (such as MNIST and CIFAR-10 classification), as well as recurrent models, such as SparseWaveRNN for text-to-speech.

연구 동기 및 목표

• 기울기가 없는 복잡한 초거대 모델(수백만 파라미터)에 대해 진화 전략(ES)을 확장할 수 있는지 조사하기 위해.
• ES가 비가역적인 희소성 마스크를 최적화하고 동시에 SGD가 가역적인 가중치를 병렬로 훈련하는 하이브리드 훈련 프레임워크를 개발하기 위해.
• 밀도 높은 사전 훈련 단계 없이도 첫 번째 훈련 단계부터 희소 신경망을 훈련할 수 있도록 하기 위해.
• 전방향 및 순환 아키텍처 모두에서 ES 기반 희소성 학습의 성능와 효율성을 평가하기 위해, 특히 이미지 분류 및 텍스트-음성 생성 작업을 대상으로 한다.

제안 방법

• CIFAR-10에서 대규모 ConvNet에 ES를 적용할 때 계산 효율성을 향상시키기 위해 반분기 업데이트 실행 모델을 도입한다.
• 이산적인 이진 희소성 마스크를 재구성 기반 기법을 통해 미분 가능한 파라미터로 모델링하기 위해 연속형 ES 변종(C-ES)을 사용한다.
• 여러 GPU에서 병렬 추론을 활용해 동시에 마스크는 ES로, 네트워크 가중치는 Adam으로 훈련한다.
• 특히 순환 모델에서의 훈련 효율성을 향상시키기 위해 블록 단위 희소성 제약 조건을 적용하여 ES의 파라미터 수를 줄인다.
• 각 파라미터 텐서마다 별도의 마스크 분포를 사용해 실행 속도를 향상시키고 세밀한 희소성 제어를 가능하게 한다.
• ES의 블랙박스 성질을 활용해 기울기 계산이 필요 없는 요소, 예를 들어 희소성 패턴과 실행 속도를 최적화한다.

실험 결과

연구 질문

• RQ1 진화 전략(ES)은 CIFAR-10에서의 대규모 비가역적 지도 학습 모델(예: ConvNet)에 효과적으로 확장될 수 있는가?
• RQ2 하이브리드 훈련 환경에서 희소성 마스크를 학습할 때 ES의 성능는 표준 SGD와 비교해 어떻게 되는가?
• RQ3 ES를 마스크 최적화에 사용함으로써 밀도 높은 사전 훈련 없이도 희소 모델을 처음부터 훈련시킬 수 있는가?
• RQ4 여러 장치에 병렬화된 ES를 사용할 경우, 희소성 마스크 학습에 따른 계산 오버헤드는 어느 정도인가?
• RQ5 블록 단위 희소성 제약 조건은 순환 모델에서 ES 기반 훈련의 성능와 효율성에 어떤 영향을 미치는가?

주요 결과

• CIFAR-10에서 제안된 ES 기반 방법은 반분기 업데이트 모델을 사용해 테스트 정확도 90.56%에서 91.77%를 달성했으며, 이는 SGD 성능에 가깝지만 이를 초월하지 못했다.
• SparseWaveRNN 모델에서 C-ES는 97% 희소성, 블록 폭 16일 때 테스트 NLL 5.56을 기록했으며, 이는 편차 기반 기준과 유사하거나 略로 뛰어났다.
• C-ES의 계산 오버헤드는 생성 크기와 약간 유사했으며, 8개의 GPU를 사용할 경우 추론 속도가 편차 기반 기준과 유사했다(예: 블록 폭 16일 때 WR1792 기준 0.45 FPS).
• 고정 마스크 분포를 사용한 FixMask는 높은 초기 희소성(예: 90%)에서 일반화에 실패했지만, C-ES는 모든 초기 희소성 수준에서 안정적인 성능 유지를 보였다.
• C-ES는 밀도 높은 사전 훈련이 필요 없이 희소 모델을 처음부터 훈련시킬 수 있도록 했으며, 메모리에 들어가지 않는 크기의 모델에 특히 유리하다.
• 이 방법은 기울기 기반 훈련과 결합했을 때, 비가역적인 구성 요소(예: 희소성 패턴) 최적화에 있어 ES가 실용적인 대안이 될 수 있음을 보여주었다.