[논문 리뷰] Reduction of the Number of Variables in Parametric Constrained Least-Squares Problems

Alberto Bemporad, Gionata Cimini|arXiv (Cornell University)|2020. 12. 18.

Advanced Control Systems Optimization인용 수 5

한 줄 요약

이 논문은 모델 예측 제어(MPC)에 특히 적합한, 수치적으로 안정적인 방법을 제안한다. 이는 등식 제약 조건 제거를 위한 특수한 QR 분해와, 비지도 학습 및 신경 분류기를 활용해 매개변수 공간을 $K$개의 영역으로 분할하는 새로운 $K$-SVD 기법을 조합하여, 매개변수에 의존하는 구조를 활용해 최적화 변수 수를 줄이는 데 목적이 있다. 각 영역은 주요 성분의 감소된 집합으로 근사된다. 이 방법은 정확한 해와 구분할 수 없을 정도의 성능을 달성하면서도 계산 복잡도를 크게 감소시킨다.

ABSTRACT

For linearly constrained least-squares problems that depend on a vector of parameters, this paper proposes techniques for reducing the number of involved optimization variables. After first eliminating equality constraints in a numerically robust way by QR factorization, we propose a technique based on singular value decomposition (SVD) and unsupervised learning, that we call $K$-SVD, and neural classifiers to automatically partition the set of parameter vectors in $K$ nonlinear regions in which the original problem is approximated by using a smaller set of variables. For the special case of parametric constrained least-squares problems that arise from model predictive control (MPC) formulations, we propose a novel and very efficient QR factorization method for equality constraint elimination. Together with SVD or $K$-SVD, the method provides a numerically robust alternative to standard condensing and move blocking, and to other complexity reduction methods for MPC based on basis functions. We show the good performance of the proposed techniques in numerical tests and in a linearized MPC problem of a nonlinear benchmark process.

연구 동기 및 목표

• 매개변수 제약 최소제곱(pCLS) 문제를 해결할 때 발생하는 높은 계산 복잡도 문제, 특히 임베디드 모델 예측 제어(MPC) 응용 분야에서의 도전 과제를 해결하기 위해.
• 특히 불안정한 시스템에서 표준 압축 방법에 비해 등식 제약 조건 제거 과정에서 더 높은 수치적 안정성을 확보하기 위해.
• 표준 압축과 이동 차단 기법을 초월하여 매개변수에 의존하는 구조를 활용해 최적화 변수 수를 추가로 줄이기 위해.
• 낮은 차원의 근사가 유효한 영역들로 매개변수 공간을 분할하는 데이터 기반의 오프라인 방법을 개발하기 위해.
• 감소된 문제에서도 여전히 pCLS 구조를 유지하여, 표준 QP 솔버로 효율적으로 해결할 수 있도록 보장하기 위해.

제안 방법

• MPC에서 유도되는 pCLS 문제의 등식 제약 조건 제거를 위해 특수한 QR 분해 기법을 사용하여, 특히 불안정한 동역학을 가진 시스템에서 표준 압축 기법보다 뛰어난 수치적 안정성을 확보한다.
• $K$-SVD 알고리즘은 표준 SVD를 확장하여 매개변수 공간의 다양한 영역에서 $K$개의 서로 다른 주요 성분 집합을 식별함으로써 국소적 낮은 질서 근사를 가능하게 한다.
• 비지도 클러스터링을 통해 $K$-SVD는 매개변수 벡터 공간을 $K$개의 비선형 영역으로 분할하며, 각 영역은 고유한 주요 성분 기저와 연결된다.
• 신경 분류기(세 개의 은닉층, 시그모이드 활성화 함수)를 훈련시켜 각 매개변수 벡터를 해당 클러스터에 매핑함으로써 실시간으로 적절한 기저를 선택할 수 있도록 한다.
• 감소된 순서 문제는 선택된 기저 벡터의 선형 조합을 사용하여 해결되며, 비가역성 처리와 강건성 확보를 위해 스레일 변수를 추가한다.
• 이 방법은 원래 pCLS 문제의 볼록 구조를 유지하므로, 표준 QP 솔버를 통해 효율적으로 해결이 가능하다.

실험 결과

연구 질문

• RQ1 MPC 기반 pCLS 문제에서 등식 제약 조건 제거를 위한 표준 압축 기법의 수치적으로 안정적인 대안을 개발할 수 있는가?
• RQ2 해의 품질을 유지하면서도 이동 차단과 압축을 초월해 최적화 변수 수를 줄일 수 있는가?
• RQ3 비지도 학습과 신경 분류를 활용해 매개변수 공간을 서로 다른 낮은 차원 근사가 유효한 영역들로 효과적으로 분할할 수 있는가?
• RQ4 $K$-SVD 기반 근사가 실질적인 MPC 응용에서 정확한 해와 유사한 성능을 유지하는가?
• RQ5 이 방법은 시간에 따라 변화하는 또는 불안정한 시스템에 적용될 때 수치적 불안정성이 발생하지 않도록 보장되는가?

주요 결과

• 제안된 QR 기반 등식 제약 제거 방법은 특히 불안정한 시스템에서 표준 압축 방법에 비해 뛰어난 수치적 안정성을 보였다.
• $K$-SVD 접근법은 최적화 변수 수를 $n=3$에서 $m=2$로 줄였고, 성능 지표 $J_{\text{ksvd}}$가 정확한 해 $J_{\text{exact}}$와 수치적으로 구분할 수 없을 정도로 일치했다.
• 폐쇄 루프 시뮬레이션 단계의 90%에서 신경 분류기가 올바른 기저 함수를 정확히 식별했으며, 그림 7에서 이를 확인할 수 있었고, $(T_r, C_A)$ 공간에서의 분할은 명확하게 서로 다른 동역학 영역을 분리하고 있었다(그림 8).
• 10개 클래스의 신경 분류기를 훈련하는 데 1271초가 소요되었고, 각 클래스당 281개의 계수를 필요로 하였으며, 이는 매개변수 벡터의 정확한 실시간 분류를 가능하게 했다.
• $K$-SVD 기반 MPC의 성능은 정확한 해와 정량적으로 동일했으며, $J_{\text{ksvd}}$는 수치적 허용 오차 내에서 $J_{\text{exact}}$와 정확히 일치했다.
• 고정된 낮은 질서 근사에 의한 성능 저하를 피하기 위해 적응형 기저 선택 기능을 제공함으로써, 이 방법은 직접적인 2변수 해($J_{\text{exact,2}}$)보다 뛰어난 성능을 보였다.