[논문 리뷰] Learning nonlinear level sets for dimensionality reduction in function approximation

Guannan Zhang, Jiaxin Zhang외 1명|arXiv (Cornell University)|2019. 02. 27.

Model Reduction and Neural Networks인용 수 21

한 줄 요약

이 논문은 소규모 데이터셋을 가진 고차원 함수 근사에서 차원 감소를 위해 비선형 좌표 변환을 학습하기 위해 가역 신경망(RevNets)을 사용하는 비선형 레벨셋 학습(NLL) 방법을 제안한다. 함수 기울기를 활용하는 새로운 손실 함수를 설계하여, 복잡한 비선형 레벨셋 기하학을 포착함으로써 선형 방법인 활성 부분공간(AS)과 슬라이스드 역행렬 회귀(SIR)에 비해 근사 정확도를 크게 향상시킨다. 특히 소규모 데이터 환경에서 뛰어난 성능을 보인다.

ABSTRACT

We developed a Nonlinear Level-set Learning (NLL) method for dimensionality reduction in high-dimensional function approximation with small data. This work is motivated by a variety of design tasks in real-world engineering applications, where practitioners would replace their computationally intensive physical models (e.g., high-resolution fluid simulators) with fast-to-evaluate predictive machine learning models, so as to accelerate the engineering design processes. There are two major challenges in constructing such predictive models: (a) high-dimensional inputs (e.g., many independent design parameters) and (b) small training data, generated by running extremely time-consuming simulations. Thus, reducing the input dimension is critical to alleviate the over-fitting issue caused by data insufficiency. Existing methods, including sliced inverse regression and active subspace approaches, reduce the input dimension by learning a linear coordinate transformation; our main contribution is to extend the transformation approach to a nonlinear regime. Specifically, we exploit reversible networks (RevNets) to learn nonlinear level sets of a high-dimensional function and parameterize its level sets in low-dimensional spaces. A new loss function was designed to utilize samples of the target functions' gradient to encourage the transformed function to be sensitive to only a few transformed coordinates. The NLL approach is demonstrated by applying it to three 2D functions and two 20D functions for showing the improved approximation accuracy with the use of nonlinear transformation, as well as to an 8D composite material design problem for optimizing the buckling-resistance performance of composite shells of rocket inter-stages.

연구 동기 및 목표

• 계산 비용이 높은 시뮬레이션을 수반하는 공학적 함수 근사 문제에서 고차원 입력과 제한된 학습 데이터 간의 도전 과제를 해결한다.
• 복잡한 함수에서 비선형 레벨셋 기하학을 포착하지 못하는 선형 차원 감소 방법(예: AS, SIR)의 한계를 극복한다.
• 함수 레벨셋의 내재 기하학을 학습함으로써 입력의 비선형, 가역 변환을 개발하여 활성 차원 수를 줄인다.
• 고정밀도이지만 느린 시뮬레이션을 수반하는 실제 공학 설계 문제에 대해 정확하고 빠르게 평가 가능한 대체 모델을 가능하게 한다.
• 합성 함수와 로켓 중간 쉘의 복합재료 설계 문제(8차원)에 대해 본 방법의 효과성을 입증한다.

제안 방법

• 고차원 입력을 낮은 차원의 잠재 공간으로 매핑하는 이원성, 비선형 좌표 변환을 학습하기 위해 가역 잔여망(RevNets)을 활용한다.
• 대상 함수의 기울기 샘플을 활용하여 변환된 함수가 대부분의 변환된 좌표 방향으로 불변이 되도록 유도하는 맞춤형 손실 함수를 설계한다.
• 변환의 가역성과 안정성을 보장하기 위해 야코비안 행렬식에 정규화 항을 통합한다.
• 기울기 기반 민감도 증진과 변환의 가역성 간 균형을 맞추기 위해 확률적 경사 하강법을 사용하여 RevNet을 훈련한다.
• 학습된 변환을 활용해 입력을 감소된 차원 공간으로 투영하고, 여기서 더 단순한 대체 모델(예: 얕은 신경망)을 효율적으로 훈련한다.
• 본 방법을 합성 함수와 8개의 입력 변수(층 각도)와 하나의 출력(충격 감소 계수)을 가진 실제 복합재료 설계 문제에 적용한다.

실험 결과

연구 질문

• RQ1 선형 방법에 비해 비선형, 가역 변환은 복잡한 비타원형 레벨셋 기하학을 더 효과적으로 학습할 수 있는가?
• RQ2 소규모 학습 샘플만 존재할 경우, 제안된 NLL 방법은 함수 근사에서 어떤 성능을 보이는가?
• RQ3 NLL 방법은 몇몇 주요 입력 방향을 식별함으로써 함수의 효과적 차원을 어느 정도 감소시킬 수 있는가?
• RQ4 NLL 방법은 활성 부분공간(AS)과 슬라이스드 역행렬 회귀(SIR)와 같은 선형 차원 감소 기법에 비해 근사 정확도와 입력 변수 민감도 측면에서 어떻게 성능을 내는가?
• RQ5 NLL 방법은 계산 비용이 높고 데이터가 제한된 실제 공학 설계 문제에 성공적으로 적용될 수 있는가?

주요 결과

• 복합재료 설계 문제에서 NLL 방법은 가장 활성도가 낮은 차원(4–8)의 민감도를 0.02 이하로 감소시켰고, SIR의 0.15–0.16과 AS의 0.15–0.20에 비해 효과적 차원 수가 크게 감소함을 시사한다.
• 단지 500개의 학습 샘플만 존재하는 조건에서 NLL 방법은 검증 세트에서 상대적 RMSE 11.96%를 기록했으며, 이는 AS(47.27%), SIR(54.99%), NN(67.57%)를 모두 앞선 성능이다.
• 8차원 복합재료 설계 문제에서 10,000개의 데이터 포인트를 사용할 경우 NLL 방법은 검증 RMSE 2.51%를 달성했고, SIR(3.32%)와 AS(3.05%)를 모두 앞서며 더 단순한 대체 모델을 사용함에도 불구하고 뛰어난 성능을 보였다.
• 손실 함수에서 더 많은 차원에 대해 정벌 항을 적용할수록 NLL 방법은 더 빠른 수렴과 낮은 손실 감쇠율을 보였으며, 이는 민감도 제어가 효과적임을 나타낸다.
• 선형 방법이 실패하는 테스트 함수, 예를 들어 $ f(m{x}) = \text{sin}( orm{\bm{x}}_2^2) $의 비선형 레벨셋 구조를 성공적으로 포착했다.
• 소규모 데이터 환경(500개 샘플)에서 NLL 방법은 AS와 SIR 대비 근사 정확도를 1.5–2배 향상시켜 데이터 부족 상황에서의 효과성을 입증했다.