[논문 리뷰] Approximate Regularization Path for Nuclear Norm Based H2 Model Reduction

Niclas Blomberg, Cristian R. Rojas외 1명|arXiv (Cornell University)|2014. 07. 22.

Probabilistic and Robust Engineering Design참고 문헌 13인용 수 4

한 줄 요약

이 논문은 핵노름 기반 $H_2$ 모델 축소를 위한 근사 정규화 경로를 계산하는 효율적인 알고리즘을 제안한다. 이는 해의 오차를 제한하기 위해 이중성 간격 상한을 활용한다. 고정된 수의 볼록 최적화 문제를 풀기만 하여도, 정규화 파rameter 전역에서 최적 해의 전체 경로를 보장된 오차 범위 내에서 근사할 수 있으며, 이는 강건한 모델 차수 선택과 반복적 재가중 전략을 가능하게 한다.

ABSTRACT

This paper concerns model reduction of dynamical systems using the nuclear norm of the Hankel matrix to make a trade-off between model fit and model complexity. This results in a convex optimization problem where this trade-off is determined by one crucial design parameter. The main contribution is a methodology to approximately calculate all solutions up to a certain tolerance to the model reduction problem as a function of the design parameter. This is called the regularization path in sparse estimation and is a very important tool in order to find the appropriate balance between fit and complexity. We extend this to the more complicated nuclear norm case. The key idea is to determine when to exactly calculate the optimal solution using an upper bound based on the so-called duality gap. Hence, by solving a fixed number of optimization problems the whole regularization path up to a given tolerance can be efficiently computed. We illustrate this approach on some numerical examples.

연구 동기 및 목표

• 핵노름 기반 $H_2$ 모델 축소에서 모델 적합도와 복잡도를 균형 잡는 최적의 정규화 파rameter 선택 문제를 해결한다.
• 핵노름 최소화의 전체 정규화 경로를 계산하는 데 따르는 계산 부담을 완화한다. 이는 흩어진 추정 기법의 비자명한 확장이다.
• 사용자가 정의한 오차 허용 범위 $\varepsilon$ 이내로 전체 정규화 경로를 근사하는 계산 효율적인 방법을 제공한다. 이는 실용적인 모델 차수 선택을 가능하게 한다.
• 반복적 재가중 기법을 지원하기 위해, 근사 경로에 기반해 정규화 파arameter를 동적으로 조정한다.
• 실제 최적 해가 계산된 경로의 $\varepsilon$-근사 영역 내에 존재함을 보장하는 프레임워크를 개발하여, 전체 경로 탐색 없이도 신뢰성 있는 결과를 확보한다.

제안 방법

• 핵노름 제약 최적화 문제로 $H_2$ 모델 축소 문제를 재구성하여, 핵노름 최소화를 통한 랭크 유사 제약 조건 하에 $H_2$ 오차를 최소화한다.
• 각 정규화 파arameter $t$ 에서 근사 해와 진짜 최적 해 사이의 최대 오차를 측정하는 이중성 간격 상한 $d_t^{\text{max}}$ 를 도입한다.
• 이중성 간격을 이용해 $\varepsilon$-허용 오차 영역을 정의한다: 근사 해 $\tilde{g}^*$ 에 대해 진짜 해는 $[f_t(\tilde{g}^*) - d_t^{\text{max}}, f_t(\tilde{g}^*)]$ 내에 존재한다.
• 이중성 간격이 $\varepsilon$ 에 도달하는 임계 $t^*_i$ 값에서 정확한 해를 계산하는 적응형 알고리즘을 설계하여, 최소한의 계산으로도 전역 정확도를 확보한다.
• 각 구간 $(t_{i-1}^*, t_i^*)$ 에서, 핵노름 제약 조건 $\|\mathcal{H}(\tilde{g})\|_* \leq 1$ 하에 볼록 최적화를 통해 근사 해 $\tilde{g}_i^*$ 를 계산하고, $t_i^*$ 로 스케일링한다.
• 해켈 행렬 $\mathcal{H}(g)$ 와 그 특이값 분해의 구조를 활용하여 특이값 감쇠를 모니터링하고, 이를 바탕으로 시스템 차수 결정에 사용자 가이드라인을 제공한다.

실험 결과

연구 질문

• RQ1 핵노름 기반 $H_2$ 모델 축소의 전체 정규화 경로를, 최적화 문제의 전순서를 풀지 않고도 효율적으로 근사할 수 있는가?
• RQ2 사용자가 정의한 오차 허용 범위 $\varepsilon$ 내에 근사 해가 진짜 최적 해와 일치하도록 보장할 수 있는 오차 상한은 무엇인가?
• RQ3 핵노름 최소화에서 이중성 간격을 정지 기준으로 사용하여 정확한 최적화 횟수를 제한할 수 있는가?
• RQ4 제안된 방법은 정규화 파arameter를 반복 단계마다 조정해야 하는 핵노름 최소화의 반복적 재가중 기법을 어떻게 지원하는가?
• RQ5 해켈 행렬의 특이값 감쇠는 근사 정규화 경로에 기반해 모델 차수 선택을 얼마나 잘 안내할 수 있는가?

주요 결과

• 제안된 방법은 고정된 수의 정확한 최적화 해를 계산하기만 하여도, 밀도 있는 그리드 평가에 비해 계산 비용을 크게 감소시킨다.
• 이중성 간격 상한 $d_t^{\text{max}}$ 는 진짜 해가 $\varepsilon$-허용 오차 영역 내에 존재하도록 효과적으로 제한하며, 이론적 정확도 보장을 제공한다.
• 수치 시뮬레이션에서 근사 경로는 진짜 경로와 밀도 있게 일치한다 (검은 점선으로 표시됨), 초록/그림자 영역은 근사의 상한 및 하한을 나타낸다.
• 6차 시스템의 경우, $t < 0.6$ 에서 2차 근사가 식별되며, $\mathcal{H}(g^*_i)$ 의 3번째 특이값이 급격히 감소함으로써 모델 차수 탐지가 확인된다.
• 100차 시스템의 경우 다수의 특이값 감쇠가 관찰되며, 방법을 통해 사용자가 원하는 모델 차수(예: 10차)를 경로 행동에 기반해 선택할 수 있다.
• 이중성 간격 계산의 수치 오차로 인해 $t=0$ 근처에서 약간의 편차가 발생하지만, 주로 행렬 절단과 부동소수점 산술로 인한 것으로, 전체 경로 정확도에는 영향을 주지 않는다.