[논문 리뷰] Exploiting Active Subspaces in Global Optimization: How Complex is your Problem?

Pramudita Satria Palar, Koji Shimoyama|arXiv (Cornell University)|2017. 07. 09.

Advanced Multi-Objective Optimization Algorithms참고 문헌 6인용 수 8

한 줄 요약

이 논문은 고차원 최적화 문제에서 낮은 차원의 구조를 드러내고 함수 복잡성의 시각적 분석을 가능하게 하는 프레임워크를 제안한다. 주요 변동 방향을 식별함으로써 다중 최적화성, 선형성, 국소 최적화기와 글로벌 최적화기의 적합성을 평가할 수 있으며, 실제 항공역학 문제에 대한 검증을 통해 단일 최적화성 행동의 성공적인 탐지와 최적 설계 공간의 축소가 이루어졌다.

ABSTRACT

When applying optimization method to a real-world problem, the possession of prior knowledge and preliminary analysis on the landscape of a global optimization problem can give us an insight into the complexity of the problem. This knowledge can better inform us in deciding what optimization method should be used to tackle the problem. However, this analysis becomes problematic when the dimensionality of the problem is high. This paper presents a framework to take a deeper look at the global optimization problem to be tackled: by analyzing the low-dimensional representation of the problem through discovering the active subspaces of the given problem. The virtue of this is that the problem's complexity can be visualized in a one or two-dimensional plot, thus allow one to get a better grip about the problem's difficulty. One could then have a better idea regarding the complexity of their problem to determine the choice of global optimizer or what surrogate-model type to be used. Furthermore, we also demonstrate how the active subspaces can be used to perform design exploration and analysis.

연구 동기 및 목표

• 고차원 공간에서 시각화가 불가능한 상황에서 최적화 문제의 복잡성 평가에 도전하는 것.
• 최적화기나 서rogate 모델을 선택하기 전에 다중성, 비선형성, 주요 변수와 같은 문제 구조에 대한 사전 통찰을 제공하는 것.
• 복잡한 문제의 저차원 표현을 드러내어 고비용 최적화 시나리오에서 정보 기반 의사결정을 가능하게 하는 것.
• 항공역학적 형상 최적화와 같은 실제 공 ing 설계 문제에서 활성 부분공간의 유용성을 입증하는 것.

제안 방법

• 목적 함수의 헤시안을 계산하고 고유분해를 수행하여 주요 저차원 부분공간을 식별하기 위해 활성 부분공간 방법(ASM)을 적용한다.
• 헤시안의 고유벡터와 고유값을 계산하여 설계 공간에서 가장 영향력 있는 방향을 결정한다.
• 활성 부분공간에 대한 일차원 또는 이차원 투영을 생성하여 반응 표면의 행동을 시각화하고, 선형성 또는 이차 곡률과 같은 경향을 드러낸다.
• 도함수 기반 감도 지표(α)를 계산하여 설계 변수가 함수 분산에 기여하는 정도에 따라 순위를 매긴다.
• 서rogate 모델링 및 최적화 워크플로우와 통합되어, Kriging나 기울기 기반 솔버와 같은 방법의 정보 기반 선택을 가능하게 한다.
• 전역 최적화(EGO)를 사용하여 여러 초기 샘플에 대해 수렴성을 테스트하고 단일 최적화성 행동을 확인함으로써 검증을 수행한다.

실험 결과

연구 질문

• RQ1 활성 부분공간은 고차원 전역 최적화 문제의 잠재적 저차원 구조를 효과적으로 드러낼 수 있는가?
• RQ2 활성 부분공간의 시각화는 국소 최적화 전략과 글로벌 최적화 전략 간의 선택에 어떻게 기여하는가?
• RQ3 복잡한 공학 문제에서 활성 부분공간은 다중 최적화성과 단일 최적화성 행동을 어느 정도 탐지할 수 있는가?
• RQ4 관측된 반응 표면 특성에 기반하여 활성 부분공간은 적절한 서rogate 모델 선택을 어떻게 안내할 수 있는가?
• RQ5 활성 부분공간에서 유도된 도함수 기반 감도 지표는 전통적 방법과 비교하여 영향력 있는 설계 변수를 식별하는 데 어떻게 다른가?

주요 결과

• 활성 부분공간 방법은 양력 계수($C_l$)에 대해 일차원 구조를 성공적으로 식별하여 감소된 공간에서 명확한 선형 경향을 보였다.
• 저항-양력 비율($C_d/C_l$)의 경우 활성 부분공간은 단일 전역 최소값을 가진 단일 최적화성, 이차 곡선 유사 반응 표면을 드러내어 $x_{r,1} = -0.5$ 근처에 존재함을 시사했다.
• $C_l$, $C_d$, $C_d/C_l$에 대해 각각 첫 번째 고유벡터가 분산의 93.89%, 94.68%, 92.03%를 설명하여 강력한 저차원 구조를 확인했다.
• 첫 번째 및 두 번째 고유벡터가 각각 분산의 98.35%, 98.48%, 99.24%를 차지하여, 한 개 또는 두 개의 차원만으로도 시각화 및 분석에 충분함을 나타냈다.
• 20개의 다른 초기 샘플을 사용한 EGO를 통한 최적화가 감소된 공간에서 동일한 전역 최적해로 수렴하여 단일 최적화성 가설을 검증했다.
• 감도 분석을 통해 $C_d/C_l$에 대해 $x_{up}$와 $y_{up}$가 가장 영향력 있는 변수로 밝혀졌고, $x_{lo}$와 $\beta_{te}$는 가장 영향력이 적은 변수로 확인되었다.