[論文レビュー] Exploiting Active Subspaces in Global Optimization: How Complex is your Problem?

Pramudita Satria Palar, Koji Shimoyama|arXiv (Cornell University)|Jul 9, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 6被引用数 8

ひとこと要約

本稿では、高次元最適化問題における低次元構造を明らかにするためにアクティブ部分空間を用いるフレームワークを提案する。これにより、関数の複雑さの可視化分析が可能になる。変動の支配的方向を特定することで、多峰性、線形性、局所的最適化とグローバル最適化の適合性を評価できる。実世界の空力的問題への検証では、単峰性の行動の正確な検出と最適設計空間の縮小に成功した。

ABSTRACT

When applying optimization method to a real-world problem, the possession of prior knowledge and preliminary analysis on the landscape of a global optimization problem can give us an insight into the complexity of the problem. This knowledge can better inform us in deciding what optimization method should be used to tackle the problem. However, this analysis becomes problematic when the dimensionality of the problem is high. This paper presents a framework to take a deeper look at the global optimization problem to be tackled: by analyzing the low-dimensional representation of the problem through discovering the active subspaces of the given problem. The virtue of this is that the problem's complexity can be visualized in a one or two-dimensional plot, thus allow one to get a better grip about the problem's difficulty. One could then have a better idea regarding the complexity of their problem to determine the choice of global optimizer or what surrogate-model type to be used. Furthermore, we also demonstrate how the active subspaces can be used to perform design exploration and analysis.

研究の動機と目的

• 可視化が不可能な高次元空間における最適化問題の複雑さを評価する課題に対処すること。
• 最適化手法やスラグレートモデルを選択する前段階で、問題構造（多峰性、非線形性、支配的変数など）に関する事前洞察を提供すること。
• 複雑な問題の低次元表現を明らかにすることで、高価な最適化シナリオにおける意思決定を支援すること。
• 実世界の工学的設計問題（例：空力形状最適化）におけるアクティブ部分空間の有効性を示すこと。

提案手法

• 目的関数のヘッセ行列を計算し、固有値分解を実行することで、支配的低次元部分空間を同定するアクティブ部分空間法（ASM）を適用する。
• ヘッセ行列の固有ベクトルと固有値を計算することで、設計空間における最も影響力のある方向を特定する。
• アクティブ部分空間への一次元または二次元の投影を作成し、応答面の挙動を可視化することで、線形性や二次的曲率などのトレンドを明らかにする。
• 導出に基づく感度指標（α）を計算し、関数分散に与える寄与度に基づいて設計変数を順位付けする。
• スラグレートモデリングおよび最適化ワークフローと統合することで、Kriging や勾配ベースのソルバーなどの手法の知的選択を可能にする。
• 収束性と単峰性の確認のため、複数の初期サンプルを用いてグローバル最適化（EGO）を実行して検証する。

実験結果

リサーチクエスチョン

• RQ1 アクティブ部分空間は、高次元グローバル最適化問題の背後にある低次元構造を効果的に明らかにできるか？
• RQ2 アクティブ部分空間の可視化は、局所的最適化とグローバル最適化戦略の選択にどのように寄与できるか？
• RQ3 複雑な工学的問題において、アクティブ部分空間は単峰性と多峰性の行動をどの程度正確に検出できるか？
• RQ4 観察された応答面の特性に基づいて、適切なスラグレートモデルの選択をアクティブ部分空間がどのように支援できるか？
• RQ5 アクティブ部分空間からの導出に基づく感度指標は、従来の手法と比較して、影響力のある設計変数を特定する上でどの程度優れているか？

主な発見

• アクティブ部分空間法により、揚力係数（$C_l$）に対して1次元構造が明確に特定され、低次元空間で明確な線形トレンドが示された。
• 抗力対揚力比（$C_d/C_l$）に関しては、アクティブ部分空間が単峰性で二次的類似の応答面を明らかにし、$x_{r,1} = -0.5$ の周辺に唯一のグローバル最小値があることを示した。
• 最初の固有ベクトルが、$C_l$、$C_d$、$C_d/C_l$ それぞれについて、分散の93.89%、94.68%、92.03%を説明しており、強い低次元構造が確認された。
• 最初の2つの固有ベクトルが、それぞれ分散の98.35%、98.48%、99.24%を捉えており、可視化や分析には1〜2次元で十分であることが示された。
• 20個の異なる初期サンプルを用いたEGOによる最適化は、低次元空間で同じグローバル最適解に収束した。これにより単峰性仮説の妥当性が検証された。
• 感度分析により、$C_d/C_l$ に対して $x_{up}$ と $y_{up}$ が最も影響力のある変数であり、$x_{lo}$ と $\beta_{te}$ が最も影響力のない変数であることが判明した。