[논문 리뷰] Handling Hard Affine SDP Shape Constraints in RKHSs

Pierre-Cyril Aubin-Frankowski, Zoltán Szabó|arXiv (Cornell University)|2021. 01. 05.

Advanced Numerical Analysis Techniques참고 문헌 80인용 수 5

한 줄 요약

이 논문은 벡터 값 재생 핵 힐버트 공간(vRKHS)에서 함수의 도함수에 대해 경계가 있는 애파인 정수형(semidefinite programming, SDP) 형태 제약 조건—예를 들어 단조성, 볼록성 또는 초모듈라리티—을 강제하기 위해 두 번째 순서 원추 타이트닝(second-order cone tightening)을 사용하는 모odular한 볼록 최적화 프레임워크를 제안한다. 이 방법은 무한 개의 점별 제약 조건을 유한하고 다루기 쉬운 최적화 문제로 변환하여, 약한 가정 하에 진짜 제약 조건이 부여된 해로 수렴함을 보장하며, 로봇공학, 제어 및 경제학 분야에서 효과가 입증되었다.

ABSTRACT

Shape constraints, such as non-negativity, monotonicity, convexity or supermodularity, play a key role in various applications of machine learning and statistics. However, incorporating this side information into predictive models in a hard way (for example at all points of an interval) for rich function classes is a notoriously challenging problem. We propose a unified and modular convex optimization framework, relying on second-order cone (SOC) tightening, to encode hard affine SDP constraints on function derivatives, for models belonging to vector-valued reproducing kernel Hilbert spaces (vRKHSs). The modular nature of the proposed approach allows to simultaneously handle multiple shape constraints, and to tighten an infinite number of constraints into finitely many. We prove the convergence of the proposed scheme and that of its adaptive variant, leveraging geometric properties of vRKHSs. Due to the covering-based construction of the tightening, the method is particularly well-suited to tasks with small to moderate input dimensions. The efficiency of the approach is illustrated in the context of shape optimization, safety-critical control, robotics and econometrics.

연구 동기 및 목표

• rich한 함수 클래스인 vRKHS와 같은 공간에서 함수 도함수에 대해 경계가 있는 점별 형태 제약 조건(예: 단조성, 볼록성)을 강제하는 데 도전 과제를 해결한다.
• 연속 영역에서 무한히 많은 제약 조건을 강제하는 데 있어 계산상의 비현실성을 해결하기 위해, 이들을 유한하고 볼록 최적화 문제로 타이트닝한다.
• 비음성, 단조성, 볼록성과 같은 여러 형태 제약 조건을 동시에 강제할 수 있는 모odular한 프레임워크를 개발한다.
• 커널과 목적 함수에 대한 표준 가정 하에 최적화 방법과 그 적응형 변형이 진짜 제약 조건이 부여된 해로 수렴하는 이론적 수렴성을 확보한다.
• 로봇공학, 제어 및 경제학에서 흔히 나타나는 저차원에서 중간 정도의 차원 문제에서 실용적으로 적용 가능하도록 한다. 이 경우 입력 공간의 기하학적 구조를 활용할 수 있다.

제안 방법

• 함수 도함수에 대한 형태 제약 조건을 애파인 SDP 부등식으로 공식화한다: $ 0_{P\times P} \preccurlyeq \mathrm{diag}(b) + Df(x) \quad \forall x \in K $, 여기서 $ Df(x) $ 는 미분 연산자(예: 헤시안)를 나타낸다.
• 커버링 기반 구축을 통해 무한한 제약 조건 집합 $ K $ 를 유한한 점 집합으로 근사함으로써, 두 번째 순서 원추(SOC) 타이트닝을 통한 유한한 완화를 가능하게 한다.
• 해시도르 거리(Hausdorff distance)에서 한계 집합 $ \bar{\Omega}^{(\infty)} $ 로 수렴하는 타이트닝 집합의 수열 $ \bar{\Omega}^{(k)} $ 을 구성한다. 이는 해 경로의 수렴을 보장한다.
• 각 단계에서 $ \bar{\Omega}^{(k)} $ 에서 볼록 부분문제를 풀어 $ (f^{(k)}, b^{(k)}) $ 를 계산하는 반복 알고리즘을 정의한다. 여기서 $ f^{(k)} \in \hat{\mathcal{F}}_K $ 이고 $ b^{(k)} \in \mathbb{R}^B $ 이다.
• vRKHS의 기하학적 구조와 목적 함수의 강제성(coercivity)을 활용하여, 반복 수렴값 $ (f^{(k)}, b^{(k)}) $ 가 한계 문제의 최적 해로 약한 수렴성을 증명한다.
• 타이트닝 수준 전반에서 타당성(가능성)을 유지하기 위해, 편향 $ b^{(k)} $ 를 구성적으로 선택함으로써 반복값의 타당성과 유계성을 확보한다.

실험 결과

연구 질문

• RQ1 무한 차원 함수 공간인 vRKHS에서 함수 도함수에 대해 경계가 있는 형태 제약 조건을 효율적으로 강제할 수 있는가?
• RQ2 비가산적으로 많은 수의 점별 SDP 제약 조건을 제약 조건 만족도를 잃지 않고 유한하고 볼록 최적화 문제로 변환할 수 있는가?
• RQ3 표준 가정 하에 제안된 타이트닝 방법이 원래 제약 조건 문제의 진짜 해로 수렴하는가?
• RQ4 이 프레임워크는 비음성, 단조성, 볼록성과 같은 여러 형태 제약 조건을 모odular하고 확장 가능한 방식으로 동시에 지원할 수 있는가?
• RQ5 비연속적이거나 비콤팩트 도메인을 가진 상황에서 반복적 해 경로에 대해 어떤 이론적 보장(예: 수렴성, 유계성)을 확보할 수 있는가?

주요 결과

• 제안된 프레임워크는 두 번째 순서 원추 타이트닝을 통해 함수 도함수에 대한 무한 개의 애파인 SDP 제약 조건을 유한하고 볼록 최적화 문제로 변환한다.
• 이 방법은 반복적 해 경로 $ (f^{(k)}, b^{(k)}) $ 가 한계 문제 $ \bar{\Omega}^{(\infty)} $ 의 최적 해로 수렴함을 보장하며, 이는 원래 제약 조건 문제와 동치이다.
• 해 $ (f^{(\infty)}, b^{(\infty)}) $ 는 원래 문제의 타이트닝 및 완화 버전 모두에서 최적임을 입증하여, 한계에서의 정확성을 확인한다.
• 강제성, 초기 타당 쌍의 존재성, 타이트닝 집합 간 해시도르 거리의 유계성 등의 약한 가정 하에 이론적 수렴성이 확립된다.
• 이 프레임워크는 비음성, 단조성, 볼록성과 같은 여러 형태 제약 조건을 각각의 SDP 제약 조건을 조합함으로써 동시에 지원하는 모odular하고 확장 가능한 구조를 가진다.
• 실험적 검증을 통해 형태 제약 최적화, 안전 중심 제어, 로봇공학, 경제 모델링 분야에서의 효과성이 입증되었으며, 특히 저차원에서 중간 정도의 차원 문제에서 뛰어난 성능을 보였다.