[論文レビュー] Learning nonlinear level sets for dimensionality reduction in function approximation

Guannan Zhang, Jiaxin Zhang+1 more|arXiv (Cornell University)|Feb 27, 2019

Model Reduction and Neural Networks被引用数 21

ひとこと要約

この論文は、高次元関数近似において小規模なデータセットを用いる場合の次元削減のため、可逆ニューラルネットワーク（RevNets）を用いて非線形座標変換を学習する非線形レベルセット学習（NLL）手法を提案する。関数勾配を活用する新しい損失関数を設計することで、NLLは複雑な非線形レベルセット幾何構造を捉え、特にデータが少ない状況下で、線形手法（Active Subspace (AS) や Sliced Inverse Regression (SIR)）に比べて顕著に近似精度を向上させる。

ABSTRACT

We developed a Nonlinear Level-set Learning (NLL) method for dimensionality reduction in high-dimensional function approximation with small data. This work is motivated by a variety of design tasks in real-world engineering applications, where practitioners would replace their computationally intensive physical models (e.g., high-resolution fluid simulators) with fast-to-evaluate predictive machine learning models, so as to accelerate the engineering design processes. There are two major challenges in constructing such predictive models: (a) high-dimensional inputs (e.g., many independent design parameters) and (b) small training data, generated by running extremely time-consuming simulations. Thus, reducing the input dimension is critical to alleviate the over-fitting issue caused by data insufficiency. Existing methods, including sliced inverse regression and active subspace approaches, reduce the input dimension by learning a linear coordinate transformation; our main contribution is to extend the transformation approach to a nonlinear regime. Specifically, we exploit reversible networks (RevNets) to learn nonlinear level sets of a high-dimensional function and parameterize its level sets in low-dimensional spaces. A new loss function was designed to utilize samples of the target functions' gradient to encourage the transformed function to be sensitive to only a few transformed coordinates. The NLL approach is demonstrated by applying it to three 2D functions and two 20D functions for showing the improved approximation accuracy with the use of nonlinear transformation, as well as to an 8D composite material design problem for optimizing the buckling-resistance performance of composite shells of rocket inter-stages.

研究の動機と目的

• 計算コストの高いシミュレーションが伴う工学的関数近似において、高次元入力と限られたトレーニングデータという課題に対処すること。
• 複雑な関数において非線形レベルセット幾何構造を捉えられない線形次元削減手法（例：AS, SIR）の限界を克服すること。
• 関数のレベルセットの内在的幾何構造を学習することで、非線形かつ可逆な入力変換を提供し、アクティブ次元の数を削減すること。
• 高精度で評価が速い代理モデルを、高精度だが遅いシミュレーションを伴う実世界の工学的設計問題に適用可能にする。
• 合成関数およびロケット中間シェル用の複合材料設計問題（8次元）に対して、本手法の有効性を実証すること。

提案手法

• 可逆残差ネットワーク（RevNets）を用いて、高次元入力を低次元の潜在空間に写像する一対一対応の非線形座標変換を学習する。
• 目的関数の勾配サンプルを活用することで、変換後の関数が大多数の変換座標に沿って不変になるよう促進する、カスタム損失関数を設計する。
• 変換の可逆性と安定性を保証するため、ヤコビアン行列式に正則化項を組み込む。
• 勾配に基づく感度促進と変換の可逆性の両立を図る損失関数を用い、確率的勾配降下法でRevNetを訓練する。
• 学習された変換を用いて、入力を次元削減された空間に射影し、より単純な代理モデル（例：浅いニューラルネットワーク）を効率的に訓練する。
• 本手法を合成関数および8つの入力変数（積層角度）と1つの出力（耐久係数）を持つ実世界の複合材料設計問題に適用する。

実験結果

リサーチクエスチョン

• RQ1 線形手法に比べ、非線形かつ可逆な変換は、高次元関数における複雑で非楕円型のレベルセット幾何構造をより効果的に学習できるか？
• RQ2 限られたトレーニングサンプル（少数データ）の状況下で、提案されたNLL手法は関数近似においてどの程度の性能を示すか？
• RQ3 NLL手法は、関数の有効次元を、主に支配的となる少数の入力方向を特定することで、どの程度低減できるか？
• RQ4 Active Subspace (AS) や Sliced Inverse Regression (SIR) といった線形次元削減手法と比較して、NLL手法の近似精度と入力変数への感度はどの程度異なるか？
• RQ5 NLL手法は、計算コストの高いシミュレーションと限られたデータを伴う実世界の工学的設計問題に成功裏に適用可能か？

主な発見

• 複合材料設計問題において、NLL手法は最もアクティブでない次元（次元4〜8）の感度を0.02未満にまで低下させた。一方、SIRでは0.15〜0.16、ASでは0.15〜0.20であったため、有効次元の顕著な低減が示された。
• 500件のトレーニングデータのみで、NLL手法は検証セットで相対的RMSE 11.96%を達成した。これは、AS（47.27%）、SIR（54.99%）、NN（67.57%）を上回る性能であった。
• 8次元の複合材料設計問題において、10,000件のデータでNLL手法は検証RMSE 2.51%を達成した。SIR（3.32%）とAS（3.05%）を上回り、かつより単純な代理モデルを用いた。
• 損失関数内でより多くの次元にペナルティを課した場合、NLL手法はより速い収束と低い損失減少率を示し、感度制御の有効性が裏付けられた。
• 線形手法が失敗するようなテスト関数、例：$ f(m{x}) = \text{sin}( orm{\bm{x}}_2^2) $ の非線形レベルセット構造を、NLL手法は成功裏に捉えた。
• 少数データ（500サンプル）の状況下で、AS や SIR に比べてNLL手法は近似精度を1.5〜2倍向上させ、データが限られた環境での有効性が検証された。