[논문 리뷰] B-Splines for Sparse Grids: Algorithms and Application to Higher-Dimensional Optimization

Julian Valentin|arXiv (Cornell University)|2019. 01. 01.

Advanced Numerical Analysis Techniques참고 문헌 64인용 수 11

한 줄 요약

이 논문은 계산 비용을 줄이고 고차원 최적화를 효율적으로 수행할 수 있도록 계층적 B-스플라인을 희소 격자에 도입한다. 차원 및 공간에 적응적인 희소 격자에서의 계층화 및 보간을 위한 새로운 알고리즘을 제안하여, 구조 최적화, 근골격계 모델링, 동적 포트폴리오 선택과 같은 복잡한 최적화 문제를 높은 정확도로 해결한다.

ABSTRACT

In simulation technology, computationally expensive objective functions are often replaced by cheap surrogates, which can be obtained by interpolation. Full grid interpolation methods suffer from the so-called curse of dimensionality, rendering them infeasible if the parameter domain of the function is higher-dimensional (four or more parameters). Sparse grids constitute a discretization method that drastically eases the curse, while the approximation quality deteriorates only insignificantly. However, conventional basis functions such as piecewise linear functions are not smooth (continuously differentiable). Hence, these basis functions are unsuitable for applications in which gradients are required. One example for such an application is gradient-based optimization, in which the availability of gradients greatly improves the speed of convergence and the accuracy of the results. This thesis demonstrates that hierarchical B-splines on sparse grids are well-suited for obtaining smooth interpolants for higher dimensionalities. The thesis is organized in two main parts: In the first part, we derive new B-spline bases on sparse grids and study their implications on theory and algorithms. In the second part, we consider three real-world applications in optimization: topology optimization, biomechanical continuum-mechanics, and dynamic portfolio choice models in finance. The results reveal that the optimization problems of these applications can be solved accurately and efficiently with hierarchical B-splines on sparse grids.

연구 동기 및 목표

• 희소 격자와 B-스플라인 기저 함수를 활용하여 고차원 최적화의 계산 병목 현상을 해결한다.
• 차원 및 공간에 적응적인 희소 격자에서의 계층화 및 보간을 위한 효율적인 알고리즘을 개발한다.
• 탄성 계수 텐서 근사 및 동적 포트폴리오 모델과 같은 5차원 이하 문제에서 정확한 서rogate 모델링 및 최적화를 가능하게 한다.
• 계층적 B-스플라인과 not-a-knot 및 자연 경계 조건을 사용하여 최적화의 정확도를 확보한다.
• 실세계 응용 분야인 구조 최적화 및 근골격계 모델링에서 방법의 효과성을 입증한다.

제안 방법

• 희소 격자를 위한 기저로 계층적 B-스플라인을 제안하여 局소 정밀화와 자유도 감소를 가능하게 한다.
• 효율적인 계산을 위해 단방향 원칙과 너비 우선 탐색 기반의 계층화 알고리즘을 도입한다.
• 기본 스플라인과 약한 기본 스플라인을 활용해 함수 값의 효율적 보간 및 평가를 가능하게 한다.
• 조합 기법을 적용하여 희소 격자 하위 격자로부터 함수 값을 재구성함으로써 계산 복잡도를 감소시킨다.
• 정확도 향상과 경계 행동 개선을 위해 not-a-knot 및 자연 경계 조건을 적용한 계층적 B-스플라인 사용.
• 기울기 기반 최적화를 희소 격자 위의 B-스플라인 서rogate와 통합하여 고차원 문제를 효율적으로 해결한다.

실험 결과

연구 질문

• RQ1 적응형 희소 격자 위의 계층적 B-스플라인은 고차원 최적화에서 고정확도 서rogate 모델링을 달성할 수 있는가?
• RQ2 다양한 B-스플라인 유형(Not-a-knot, 자연)이 희소 격자에서 보간 정확도와 경계 행동에 미치는 영향은 어떠한가?
• RQ3 제안된 계층화 알고리즘이 고차원에서 공간 및 차원에 적응적인 격자에 대해 효율적으로 확장 가능한가?
• RQ4 B-스플라인 희소 격자 접근법은 구조 최적화 및 동적 포트폴리오 모델과 같은 실세계 응용 분야에서 얼마나 효과적인가?
• RQ5 격자 적응성과 기저 함수 선택은 최적화에서 수렴성과 계산 비용에 어떤 영향을 미치는가?

주요 결과

• Not-a-knot 조건을 갖는 계층적 B-스플라인은 희소 격자에서 차수 ≤3의 다항식을 정확히 표현할 수 있어 고정확도 근사가 가능하다.
• 제안된 계층화 알고리즘은 공간에 적응적인 격자에서 기존 방법 대비 최대 10배 빠른 계산 성능을 달성한다.
• 구조 최적화 문제에서, 표준 방법 대비 연성 값이 최대 16% 감소했으며, 최적성 갭은 1% 이하였다.
• 동적 포트폴리오 모델에서 5차원 문제에 대해 15,000개 격자 점을 사용해 3시간 이내에 수렴을 달성했다.
• 공간에 적응적인 격자 생성은 겨우 10,000~15,000개의 격자 점으로도 상대적 L2 오차를 5% 이하로 유지하여 계산 비용을 크게 감소시켰다.
• 제약 조건이 있고 비볼록 최적화 과제를 포함한 다양한 테스트 문제에서 뛰어난 안정성과 성능을 보였다.