[논문 리뷰] Global optimization in inverse problems: A comparison of Kriging and radial basis functions

Wolfgang Jacquet, Bart Truyen외 3명|ArXiv.org|2005. 06. 22.

Advanced Multi-Objective Optimization Algorithms참고 문헌 7인용 수 6

한 줄 요약

이 논문은 비용이 많이 들고 잘 정의되지 않은 역문제에서의 전역 최적화를 위해 크리징과 반경기반함수(RBFs)를 비교한다. 동적 기저함수 갱신을 통해 탐색과 정규화의 균형을 이루는 RBF 알고리즘을 적응형으로 개선함으로써, 노이즈가 많은 데이터에 대한 과적합 위험이 줄어들고 정규화가 더 잘 유지되는 점에서 크리징보다 더 적합한 것으로 밝혀졌다.

ABSTRACT

We study global optimization (GOP) in the framework of non-linear inverse problems with a unique solution. These problems are in general ill-posed. Evaluation of the objective function is often expensive, as it implies the solution of a non-trivial forward problem. The ill-posedness of these problems calls for regularization while the high evaluation cost of the objective function can be addressed with response surface techniques. The global optimization using Radial Basis Function (RBF) as presented by Gutmann (2001) is a response surface global optimization technique with regularizing aspects. Alternatively, several publications put forward global optimization using a probabilistic approach based upon Kriging as an efficient technique for non-linear multi modal objective functions, thereby providing a credible stopping rule (Jones2001). After comparing both concepts, we argue that in case of non-linear inverse problems an adaptation of the RBF algorithm seems to be the most promising approach.

연구 동기 및 목표

• 비선형 역문제에서의 전역 최적화를 위한 크리징과 RBF 기반 응답표면 방법을 평가하고 비교하는 것.
• 복잡한 정방문제를 해결하기 위해 목적함수를 평가하는 데 높은 계산비용이 발생하는 문제에 대처하는 것.
• 정규화와 탐색-이용 균형이 전역 최적화의 수렴성과 신뢰성에 미치는 영향을 조사하는 것.
• 잘 정의되지 않은 역문제에서 확률적 크리징과 결정적 RBFs 중 어느 것이 정규화를 더 잘 유지하는지 규명하는 것.
• 데이터 기반으로 기저함수를 동적으로 갱신하면서도 정규화를 유지하는 적응형 RBF 알고리즘을 제안하는 것.

제안 방법

• 샘플된 점에서의 값들을 선형 조합으로 사용하는 반경함수와 저차다항식을 이용해 목적함수의 대체모델을 구성하기 위해 반경기반함수(RBFs)를 사용한다.
• 다양한 커널 유형(다중정수형, 가우시안, 얇은판스플라인 등)을 사용한 RBF 보간법을 적용하며, 각각 다항식 차수와 커널 행동에 대해 특정 조건을 부여한다.
• 순차적 최적화 전략을 구현: 현재 RBF 대체모델 기반으로 탐색 영역과 유망한 영역을 균형 잡고 새로운 평가 점을 반복적으로 선택한다.
• RBF 방법을 개선하기 위해 기저함수의 매개변수(예: 가우시안 RBFs의 γ)를 동적으로 조정함으로써 정규화를 유지하고 노이즈가 많거나 흐린 데이터에 대한 과적합을 방지한다.
• 예측 개선도 기준을 선택 기준으로 사용하는 확률적 모델을 기반으로 한 크리징과 RBF 방법을 비교한다.
• 목적함수가 비용이 많이 들고 문제 자체가 잘 정의되지 않아 해를 안정화시키기 위해 정규화가 필요한 조건 하에서 두 방법을 평가한다.

실험 결과

연구 질문

• RQ1 비선형 역문제에서 크리징과 RBF 기반 전역 최적화 방법은 수렴성과 신뢰성 측면에서 어떻게 비교될 수 있는가?
• RQ2 잘 정의되지 않은 문제에서 탐색과 이용 균형을 향상시키면서도 정규화를 유지할 수 있도록 RBF 방법을 어떻게 적응시킬 수 있는가?
• RQ3 전역 최소값을 향해 최적화할 때 크리징의 확률적 프레임워크가 평균과 분산 추정에 편향을 유도하는가?
• RQ4 RBF의 적응형 기저함수 선택은 크리징의 매개변수 적응에 비해 정규화를 얼마나 잘 유지하는가?
• RQ5 크리징에서 사용하는 예측 개선도 기준을 RBF 프레임워크로 효과적으로 이식할 수 있는가?

주요 결과

• 적응형 기저함수 갱신을 통한 RBF 기반 전역 최적화 방법은 정규화 유지 측면에서 잘 정의되지 않은 역문제에서 크리징보다 더 적합하다.
• 크리징은 순차적 관측 기반 매개변수 추정에 의존하여 전역 최소에 접근할수록 평균과 분산을 과소평가함으로써 통계적 신뢰성을 떨어뜨린다.
• RBF 접근법은 특히 제어된 γ 매개변수를 가진 가우시안 또는 다중정수형 RBFs를 사용할 경우, 체계적인 비적응 정규화 프레임워크를 유지함으로써 과적합을 방지한다.
• 적응형 RBFs는 데이터 기반 갱신을 통합하면서도 정규화를 유지하므로, 노이즈나 잘 정의되지 않은 문제에서 크리징보다 더 강건하다.
• 크리징에서 사용하는 예측 개선도 기준은 RBF 프레임워크로 의미 있게 적응시킬 수 있으며, 하이브리드 또는 향상된 RBF 기반 최적화 전략의 잠재력을 시사한다.
• 크리징은 기저함수의 방향성 편향으로 인해 헤시안 행렬의 비균일한 구조를 가진 문제에서 국소 최소값을 선호하는 경향이 있어 효과가 떨어지며, 이는 적절한 커널 선택을 한 RBFs에는 내재된 문제로 존재하지 않는다.