[논문 리뷰] Efficient Multi-Objective Optimization for Deep Learning.

Michael Ruchte, Josif Grabocka|arXiv (Cornell University)|2021. 03. 24.

Advanced Multi-Objective Optimization Algorithms참고 문헌 29인용 수 9

한 줄 요약

이 논문은 효율적인 신경망을 위한 확장 가능한 다목적 최적화 방법을 제안하며, 선호도 벡터를 특성 공간에 직접 통합하여 신경망을 선호도에 조건화함으로써, 각도 페널티 정규화를 통해 잘 분포된 파레토 최적 해를 유지한다. 이 방법은 CelebA에서 EfficientNet을 사용할 때 단지 7%의 학습 시간 오버헤드로 기존 방법보다 빠르고 확장성 있는 성능을 보이며, 최상의 파레토 최적 해 품질을 달성한다.

ABSTRACT

Multi-objective optimization (MOO) is a prevalent challenge for Deep Learning, however, there exists no scalable MOO solution for truly deep neural networks. Prior work either demand optimizing a new network for every point on the Pareto front, or induce a large overhead to the number of trainable parameters by using hyper-networks conditioned on modifiable preferences. In this paper, we propose to condition the network directly on these preferences by augmenting them to the feature space. Furthermore, we ensure a well-spread Pareto front by penalizing the solutions to maintain a small angle to the preference vector. In a series of experiments, we demonstrate that our Pareto fronts achieve state-of-the-art quality despite being computed significantly faster. Furthermore, we showcase the scalability as our method approximates the full Pareto front on the CelebA dataset with an EfficientNet network at a tiny training time overhead of 7% compared to a simple single-objective optimization. We make our code publicly available at this https URL

연구 동기 및 목표

• 딥 신경망을 위한 확장 가능한 다목적 최적화 솔루션의 부족을 해결하기 위해.
• 기존 방법이 각 파레토 점마다 별도의 네트워크를 학습하거나 하이퍼네트워크를 통해 과도한 파rameter 오버헤드를 유발하는 한계를 극복하기 위해.
• 학습 중에 전체 파레토 최적 해를 효율적이고 실시간으로 근사화할 수 있도록 하기 위해.
• 선호도 벡터에 대한 각도 정규화를 통해 파레토 최적 해 전역에 걸쳐 잘 분포된 해를 유지하기 위해.

제안 방법

• 이 방법은 선호도 벡터를 입력 특성 공간에 직접 통합함으로써, 아키텍처 변경 없이도 네트워크가 이러한 선호도에 조건화된 출력을 생성할 수 있도록 한다.
• 해 벡터와 선호도 벡터 간의 각도를 최소화하는 각도 페널티 손실을 도입하여 파레토 최적 해의 다양성과 커버리지 보장을 한다.
• 각 목표마다 별도의 네트워크를 학습하거나 하이퍼네트워크를 사용하지 않아, 파rameter 및 계산 오버헤드를 줄인다.
• 기존의 표준 딥러닝 프레임워크와 호환되며, 기존 학습 파이프라인에 원활하게 통합된다.
• 표준 백프로파게이션을 활용하고 손실 함수를 수정하여 선호도 조건화된 특성 표현을 통해 다중 목표를 동시에 최적화한다.
• 학습 과정은 효율적이며, EfficientNet과 같은 대규모 모델을 사용할 때 단지 단일 목표 학습 대비 7%의 오버헤드만을 유발한다.

실험 결과

연구 질문

• RQ1 EfficientNet과 같은 대규모 모델에 대해 금전적 비용이나 아키텍처 복잡성이 과도하게 증가하지 않도록 다목적 딥러닝을 확장할 수 있는가?
• RQ2 다수의 네트워크 재학습을 요구하지 않고도 최적화 도중 잘 분포된 파레토 최적 해를 유지할 수 있는가?
• RQ3 특성 공간에서의 선호도 조건화가 기존 방법에 비해 파레토 최적 해 품질을 얼마나 향상시킬 수 있는가?
• RQ4 기존 MOO 접근 방식에 비해 선호도 기반 조건화를 사용하여 전체 파레토 최적 해를 유지할 경우의 계산 오버헤드는 어느 정도인가?

주요 결과

• 제안된 방법은 다양한 벤치마크에서 최신 기술 수준의 파레토 최적 해 품질을 달성하며, 해의 다양성과 수렴성에서 기존 방법을 능가한다.
• EfficientNet을 사용할 때 CelebA 데이터셋에서 전체 파레토 최적 해를 계산하는 데 단지 7%의 학습 시간 오버헤드만이 발생한다.
• 각도 페널티 정규화가 효과적으로 파레토 최적 해 전역에 걸쳐 잘 분포된 해를 유지하여 해의 집중 현상을 방지한다.
• 이 방법은 깊은 신경망으로도 효율적으로 확장 가능하여 실생활 딥러닝 응용 분야에서의 실현 가능성을 보여준다.
• 하이퍼네트워크나 목표별 재학습이 필요 없어지면서 파rameter 및 계산 오버헤드가 크게 감소한다.
• 코드가 공개되어 재현성과 확장 가능한 다목적 딥러닝 분야의 향후 연구를 가능하게 한다.