[논문 리뷰] FlexiBO: Cost-Aware Multi-Objective Optimization of Deep Neural Networks.

Shahriar Iqbal, Jianhai Su외 2명|arXiv (Cornell University)|2020. 01. 18.

Advanced Multi-Objective Optimization Algorithms참고 문헌 43인용 수 15

한 줄 요약

FlexiBO는 평가 비용에 따라 목표를 우선순위를 정하는 비용 인지 베이지안 최적화 프레임워크로, 비용 가중 페어레토 초체적량 확장 수확 함수를 사용한다. 이는 7개의 DNN 아키텍처에서 최신 기술 대비 진정한 페어레토 최적 해에 기여도가 28.44% 높고, 다양성은 25.64% 더 우수하다.

ABSTRACT

One of the key challenges in designing machine learning systems is to determine the right balance amongst several objectives, which also oftentimes are incommensurable and conflicting. For example, when designing deep neural networks (DNNs), one often has to trade-off between multiple objectives, such as accuracy, energy consumption, and inference time. Typically, there is no single configuration that performs equally well for all objectives. Consequently, one is interested in identifying Pareto-optimal designs. Although different multi-objective optimization algorithms have been developed to identify Pareto-optimal configurations, state-of-the-art multi-objective optimization methods do not consider the different evaluation costs attending the objectives under consideration. This is particularly important for optimizing DNNs: the cost arising on account of assessing the accuracy of DNNs is orders of magnitude higher than that of measuring the energy consumption of pre-trained DNNs. We propose FlexiBO, a flexible Bayesian optimization method, to address this issue. We formulate a new acquisition function based on the improvement of the Pareto hyper-volume weighted by the measurement cost of each objective. Our acquisition function selects the next sample and objective that provides maximum information gain per unit of cost. We evaluated FlexiBO on 7 state-of-the-art DNNs for object detection, natural language processing, and speech recognition. Our results indicate that, when compared to other state-of-the-art methods across the 7 architectures we tested, the Pareto front obtained using FlexiBO has, on average, a 28.44% higher contribution to the true Pareto front and achieves 25.64% better diversity.

연구 동기 및 목표

• DNN 최적화에서 상충되는 목표 간 평가 비용의 불균형 문제를 해결하기 위해, 정확도는 높은 비용, 에너지 소비는 낮은 비용인 경우를 포함한다.
• 검색 과정에서 목표의 측정 비용이 다름을 고려한 다목적 최적화 프레임워크를 개발하기 위해.
• 비용 제약 조건 하에서 페어레토 최적 DNN 설정의 품질과 다양성을 향상시키기 위해.
• 정보량이 많고 비용이 낮은 평가를 우선순위로 정하여 페어레토 최적 해의 효율적 탐색을 가능하게 하기 위해.

제안 방법

• 각 목표의 평가 비용의 역수로 가중된 페어레토 초체적량 향상도를 고려한 새로운 확장 함수를 제안한다.
• 단위 비용당 기대 정보 수확량이 가장 큰 평가 점과 목표를 선택한다.
• 목표별 측정 비용을 하이퍼파rameter로 모델링하여 베이지안 최적화에 비용 인지성을 통합한다.
• 다양한 목표에서 DNN 설정의 성능을 가우시안 프로세스로 모델링한다.
• 총 평가 비용을 최소화하면서 탐색과 이용의 균형을 이루기 위해 확장 함수를 최적화한다.
• 사전 학습된 모델을 사용하여 빠른 평가가 가능한 실제 DNN(객체 검출, 자연어 처리, 음성 인식)에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 목표의 평가 비용이 크게 다를 경우, 다목적 DNN 최적화는 어떻게 더 효율적으로 수행될 수 있는가?
• RQ2 비용 인지 확장 함수는 페어레토 최적 DNN 설정의 품질과 다양성을 향상시킬 수 있는가?
• RQ3 측정 비용에 따라 페어레토 개선도를 가중할 경우 수렴성과 성능에 어떤 영향을 미치는가?
• RQ4 페어레토 최적 해의 품질과 다양성 측면에서 FlexiBO는 최신 기술 다목적 최적화 방법보다 어떻게 비교되는가?
• RQ5 비용 인지 베이지안 최적화를 통해 정확도 평가의 수를 줄일 수 있는가, 이로 인해 솔루션 품질이 떨어지지 않는가?

주요 결과

• FlexiBO는 7개의 DNN 아키텍처에서 최신 기술 대비 진정한 페어레토 최적 해에 기여도가 28.44% 높다.
• 기존 방법 대비 페어레토 최적 해의 다양성을 25.64% 향상시킨다.
• 비용 가중 확장 함수는 저비용, 고정보 평가를 우선순위로 정함으로써 더 효율적인 탐색을 가능하게 한다.
• FlexiBO는 정확도 평가의 의존도를 줄이면서도 솔루션 품질을 유지하거나 향상시킨다.
• 객체 검출, 자연어 처리, 음성 인식을 포함한 다양한 DNN 작업에서 일관된 성능 향상을 보였다.
• 확장 함수 설계 시 평가 비용을 고려할 경우 향상된 페어레토 최적 해 근사가 가능하다는 것이 결과적으로 확인되었다.