[논문 리뷰] Deep Learning for Explicitly Modeling Optimization Landscapes

Shumeet Baluja|arXiv (Cornell University)|2017. 03. 21.

Machine Learning and Data Classification참고 문헌 30인용 수 5

한 줄 요약

이 논문은 복잡한 고차원 문제의 평가 함수를 근사하기 위해 딥 뉴럴 네트워크(DNN)를 훈련시켜 최적화 경관을 명시적으로 모델링하는 딥러닝 기반 방법을 제안한다. '딥 네트워크 인버전'을 사용해 고품질의 초기 해를 생성함으로써, 조합 최적화, 이산 최적화, 연속 최적화 문제를 포함한 다양한 분야에서 국소 탐색 성능을 향상시킨다. 기존의 유전 알고리즘과 같은 표준 확률적 탐색 방법에 비해 뚜렷한 성능 향상을 보였다.

ABSTRACT

In all but the most trivial optimization problems, the structure of the solutions exhibit complex interdependencies between the input parameters. Decades of research with stochastic search techniques has shown the benefit of explicitly modeling the interactions between sets of parameters and the overall quality of the solutions discovered. We demonstrate a novel method, based on learning deep networks, to model the global landscapes of optimization problems. To represent the search space concisely and accurately, the deep networks must encode information about the underlying parameter interactions and their contributions to the quality of the solution. Once the networks are trained, the networks are probed to reveal parameter combinations with high expected performance with respect to the optimization task. These estimates are used to initialize fast, randomized, local search algorithms, which in turn expose more information about the search space that is subsequently used to refine the models. We demonstrate the technique on multiple optimization problems that have arisen in a variety of real-world domains, including: packing, graphics, job scheduling, layout and compression. The problems include combinatoric search spaces, discontinuous and highly non-linear spaces, and span binary, higher-cardinality discrete, as well as continuous parameters. Strengths, limitations, and extensions of the approach are extensively discussed and demonstrated.

연구 동기 및 목표

• 딥 뉴럴 네트워크를 사용해 최적화 경관의 구조를 명시적으로 모델링하는 방법을 개발하는 것.
• 훈련된 DNN를 활용해 국소 탐색을 위한 고품질의 초기 해를 생성함으로써 확률적 최적화를 향상시키는 것.
• DNN가 이전 평가에서 학습한 파라미터 상호작용을 활용해 국소 탐색에서 랜덤 변형에 대한 의존도를 줄이는 것.
• 하이퍼클리밍 및 유전 알고리즘과 같은 전통적 최적화 히우리즘과의 통합을 탐색하는 것.
• 조합 최적화, 비연속적, 비선형 탐색 공간을 포함한 다양한 문제 유형에 대해 방법을 평가하는 것.

제안 방법

• 샘플링된 해를 사용해 최적화 문제의 진짜 평가 함수를 근사하기 위해 딥 프eed포워드 신경망을 훈련하는 것.
• 고성능을 가진 새로운 후보 해를 생성하기 위해 '딥 네트워크 인버전'—다양한 샘플링 기법—을 사용하는 것.
• 이러한 DNN에 의해 생성된 후보 해로 빠르고 무작위적인 국소 탐색 알고리즘(NASH 등)을 초기화하여 탐색 공간의 유망한 영역을 탐색하는 것.
• 국소 탐색에서 새로운 평가 결과를 수집하고 업데이트된 데이터로 신경망을 재훈련함으로써 DNN 모델을 반복적으로 개선하는 것.
• 진행 중인 데이터에 대한 점진적 훈련 중 과적합을 방지하기 위해 조기 정지와 정규화를 사용하는 것.
• 실제 평가가 비용이 많이 들기 때문에 DNN를 대체 평가 함수로 사용해 탐색 속도를 높이고, 이를 줄이는 것.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 문제에 특화된 설계를 최소화하고 복잡한 고차원 최적화 경관을 효과적으로 모델링할 수 있는가?
• RQ2 DNN가 생성한 초기 해를 사용할 경우, 랜덤 초기화에 비해 국소 탐색 알고리즘의 성능이 향상되는가?
• RQ3 딥러닝과 확률적 최적화의 통합이 다양한 문제 유형에서 수렴 속도와 해 품질에 어떤 영향을 미치는가?
• RQ4 DNN 모델이 유사한 최적화 문제 간에 일반화되어 전이 학습을 가능하게 하고 재훈련을 줄일 수 있는가?
• RQ5 강건성과 확장성에 영향을 주는 주요 하이퍼파ram터와 훈련 전략은 무엇인가?

주요 결과

• Deep-Opt-GA 방법은 그래프 기반 제약 조건 문제에서 평균 성능 5131을 기록했으며, 인구 수 50과 100인 표준 GA는 각각 4817과 4825를 기록해 20개의 모든 인스턴스에서 승리했다.
• 문제 유형과 탐색 공간 특성의 다양성에도 불구하고, 패킹, 그래픽스, 작업 스케줄링, 레이아웃, 압축 등 다양한 분야에서 일관된 성능 향상을 보였다.
• 고품질의 초기 해를 생성하기 위해 딥 네트워크 인버전을 사용함으로써 국소 탐색 절차에서 더 빠른 수렴과 더 나은 품질의 해를 달성했다.
• 문제 유형에 특화된 수정 없이도 동일한 5층과 10층의 피드포워드 네트워크를 사용함으로써 아키텍처 조정이 최소화된 강건성과 성능을 보였다.
• 이전 평가에서 학습한 파라미터 상호작용과 의존성을 인코딩함으로써 무작위 탐색에 대한 의존도를 줄였고, 더 스마트한 탐색 방향을 가능하게 했다.
• 새로운 샘플을 수용할 수 없을 경우 신경망을 다시 학습시해야 하는 것으로 밝혀져, 가중치 스케일링에 민감하고 점진적 훈련에서 정규화가 필요하다는 점을 확인했다.