[논문 리뷰] Overview of Gaussian process based multi-fidelity techniques with variable relationship between fidelities

Loïc Brevault, Mathieu Balesdent외 1명|arXiv (Cornell University)|2020. 06. 30.

Advanced Multi-Objective Optimization Algorithms참고 문헌 55인용 수 5

한 줄 요약

이 논문은 저품질 및 고품질 모델 간의 선형, 비선형, 변동하는 상관관계를 수용하는 가우시안 프로세스 기반 다중 정밀도 모델링 기법에 대한 종합적인 비교를 제시한다. 분석적 문제와 항공우주 공 ing 문제에서 AR1, LMC, NARGP, DGP 방법을 평가한 결과, 복잡한 비선형 관계에서는 비선형 기법(예: DGP)이 선형 기법보다 뛰어난 성능을 보이며, 고정밀도 데이터가 제한적이고 고차원 문제에서는 선형 기법이 더 뛰어난 안정성을 유지함을 확인하였다.

ABSTRACT

The design process of complex systems such as new configurations of aircraft or launch vehicles is usually decomposed in different phases which are characterized for instance by the depth of the analyses in terms of number of design variables and fidelity of the physical models. At each phase, the designers have to compose with accurate but computationally intensive models as well as cheap but inaccurate models. Multi-fidelity modeling is a way to merge different fidelity models to provide engineers with accurate results with a limited computational cost. Within the context of multi-fidelity modeling, approaches relying on Gaussian Processes emerge as popular techniques to fuse information between the different fidelity models. The relationship between the fidelity models is a key aspect in multi-fidelity modeling. This paper provides an overview of Gaussian process-based multi-fidelity modeling techniques for variable relationship between the fidelity models (e.g., linearity, non-linearity, variable correlation). Each technique is described within a unified framework and the links between the different techniques are highlighted. All the approaches are numerically compared on a series of analytical test cases and four aerospace related engineering problems in order to assess their benefits and disadvantages with respect to the problem characteristics.

연구 동기 및 목표

• 저품질 및 고품질 모델 간의 다양한 관계(선형, 비선형, 변동 상관관계)를 고려한 가우시안 프로세스 기반 다중 정밀도 기법의 평가 및 비교.
• 다양한 다중 정밀도 모델링 접근법에서 예측 정확도, 불확실성 정량화, 계산 비용 간의 성능 트레이드오��� 분석.
• 고정밀도 평가가 비용이 많이 들고 정밀도 관계가 사전에 알려지지 않은 공학 설계 문제에 가장 적합한 방법 식별.
• 차원 수와 제한된 고정밀도 샘플 수가 모델 성능과 안정성에 미치는 영향 분석.
• 비선형성, 상관관계, 데이터 가용성과 같은 문제 특성에 따라 실무자들이 적절한 다중 정밀도 기법을 선택할 수 있도록 안내.

제안 방법

• AR1, LMC, NARGP, DGP를 변수 정밀도 관계를 가진 가우시안 프로세스 기반 다중 정밀도 모델로 통합된 프레임워크로 기술.
• 공-크리징 및 계층적 GP 구조를 사용하여 저품질 및 고정밀도 모델 출력을 융합하고, 정밀도 간의 매핑을 공유 또는 중첩된 공분산 함수로 모델링.
• 마진형 우도 최대화를 통한 베이지안 추론을 활용해 하이퍼파rameter 추정 및 불확실성 인식 예측 구현.
• 4개의 항공우주 및 4개의 분석 테스트 케이스에서 평균 음수 로그우도(MNLL), 평균제곱오차(MSE), 예측 정확도 등의 지표를 사용해 모델 비교.
• NARGP의 데이터 구조 민감도 평가를 위해 내재형 및 비내재형 학습 전략 모두 평가.
• 특히 고차원 설계 공간에서의 곡률 문제에 기인한 영향 분석을 포함해 차원 수와 표본 수가 모델 성능에 미치는 영향 분석.

실험 결과

연구 질문

• RQ1 선형(AR1, LMC)과 비선형(NARGP, DGP) 다중 정밀도 GP 모델이 다양한 테스트 문제에서 예측 정확도 및 불확실성 정량화 측면에서 어떻게 비교되는가?
• RQ2 제한된 고정밀도 샘플 수가 비선형 다중 정밀도 모델의 성능에 미치는 영향은 선형 모델과 비교해 어떠한가?
• RQ3 입력 공간의 차원 수가 선형 대비 비선형 다중 정밀도 모델링 기법의 상대적 성능에 미치는 영향은 무엇인가?
• RQ4 고정밀도가 더 정확한 비대칭 정보 조건에서 AR1 대비 LMC를 사용한 공-크리징의 성능 향상 여부는 어떠한가?
• RQ5 내재형 대비 비내재형 학습 전략 선택이 실제 공학 응용에서 NARGP의 성능에 미치는 영향은 어느 정도인가?

주요 결과

• 정밀도 간 관계가 매우 비선형이거나 약한 상관관계를 보일 경우, 비선형 기법(DGP, NARGP)이 선형 모델(AR1, LMC)보다 현저히 뛰어난 성능을 보인다.
• 고정밀도 샘플 수가 제한된 경우, 선형 기법(AR1, LMC)이 비선형 기법보다 더 나은 성능을 보이며, 이는 낮은 복잡성과 추정이 필요한 하이퍼파rameter 수 때문이기도 하다.
• DGP는 항상 최고의 우도(MNLL)와 불확실성 정량화 성능를 기록하며, 특히 복잡한 비선형 관계 모델링에서 뛰어난 성능을 보인다.
• 고차원 문제에서는 고정밀도 샘플을 추가해도 성능 향상 폭이 감소함을 확인하여, 곡률 문제로 인해 데이터 증가에도 불구하고 성능 향상이 제한됨을 시사한다.
• 선형 기법은 고차원 테스트 케이스에서 조밀한 고정밀도 데이터가 없더라도 더 뛰어난 안정성과 일반화 능력을 보이며, 간단한 구조 덕분이다.
• 모든 문제에 대해 항상 슈퍼리어한 방법은 존재하지 않으며, 문제의 비선형성, 상관관계 강도, 가용 고정밀도 데이터에 따라 선택이 달라져야 하며, 문제 특성에 기반한 방법 선택의 필요성을 강조한다.