[논문 리뷰] Learning of Linear Dynamical Systems as a Non-Commutative Polynomial Optimization Problem

Quan Zhou, Jakub Mareček|arXiv (Cornell University)|2020. 02. 04.

Control Systems and Identification참고 문헌 80인용 수 8

한 줄 요약

이 논문은 알려지지 않은 은닉 상태 차원을 가진 선형 동적 시스템(LDS)의 학습을 비가환 다항식 최적화 문제(NCPOP)로 공식화하며, NPA 계층의 볼록 근사화를 활용하여 시스템 행렬의 전역 수렴 추정을 달성한다. 이는 Matlab의 시스템 식별 도구상자보다 예측 성능이 뛰어나며, 특히 변동성이 큰 시계열에서 뛰어난 성능을 보이며, 은닉 상태 차원에 영향을 받지 않는 런타임과 희소성 활용을 통한 확장성 향상을 제공한다.

ABSTRACT

There has been much recent progress in forecasting the next observation of a linear dynamical system (LDS), which is known as the improper learning, as well as in the estimation of its system matrices, which is known as the proper learning of LDS. We present an approach to proper learning of LDS, which in spite of the non-convexity of the problem, guarantees global convergence of numerical solutions to a least-squares estimator. We present promising computational results.

연구 동기 및 목표

• 알려지지 않은 은닉 상태 차원과 비볼록, 비가환 시스템 행렬 추정을 포함한 선형 동적 시스템(LDS) 학습의 과제를 해결하기 위해.
• 시스템 행렬과 은닉 상태 차원을 동시에 추정하는, LDS의 적절한 학습을 위한 전역 수렴 방법을 개발하기 위해.
• NCPOP 프레임워크를 통해 사전 형태 제약 조건을 통합할 수 있도록 하기 위해.
• 볼록 근사화를 사용하여 알려지지 않은 은닉 상태 차원에 영향을 받지 않는 런타임을 달성하기 위해.
• 기본 부분공간 및 최소 제곱 방법과 비교해 변동성이 큰 시계열에서의 예측 정확도와 내구성을 향상시키기 위해.

제안 방법

• 시스템 행렬과 잡음 공분산을 가환하지 않는 변수로 간주하여, LDS 학습을 비가환 다항식 최적화 문제(NCPOP)로 공식화한다.
• Navascués-Pironio-Acin(NPA) 계층의 볼록 근사화를 적용하여 NCPOP에 대한 渐近 수렴 경계를 생성한다.
• NPA 계층에서 유도된 정수형 프로그래밍(SDP) 근사화를 사용하여 비볼록 연산자 값 문제를 해결한다.
• 희소성 활용 버전의 NPA 계층(예: TSSOS)을 사용하여 계산 비용을 줄이고 확장성을 향상시킨다.
• SDP 해결을 위해 ncpol2sdpa와 mosek를 사용하며, 모멘트 순서 $k=1$ 또는 $k=2$를 적용한다.
• 은닉 상태 역학을 추정할 때 $F'$를 공식화에서 제거하여 관측치로부터의 시스템 행렬 학습에 집중한다.

실험 결과

연구 질문

• RQ1 알려지지 않은 은닉 상태 차원을 가진 선형 동적 시스템의 학습은 비가환 다항식 최적화 문제로 공식화될 수 있는가?
• RQ2 NPA 계층의 볼록 근사화는 은닉 상태 차원에 대한 사전 지식 없이도 LDS 시스템 행렬의 전역 수렴 추정을 제공할 수 있는가?
• RQ3 제안된 NCPOP 기반 방법은 변동성이 큰 시계열에서 기존 부분공간 및 최소 제곱 방법과 비교해 예측 정확도에서 어떻게 성과를 내는가?
• RQ4 특히 희소성 활용 시, 시간 창 길이와 모멘트 순서 측면에서 이 방법의 계산 확장성은 어떠한가?
• RQ5 예를 들어 형태 제약 조건과 같은 사전 구조 정보가 학습 프레임워크에 자연스럽게 통합될 수 있는가?

주요 결과

• 제안된 NCPOP 기반 방법은 주식 시장 데이터에서 Matlab의 시스템 식별 도구상자보다 예측 정확도가 뛰어나며, 특히 고도로 변동성이 큰 기간 동안 뛰어난 성능을 보였다.
• NPA 계층은 알려지지 않은 은닉 상태 차원에 영향을 받지 않는 런타임을 제공하며, LDS 학습 문제에 대해 전역 수렴 경계를 제공한다.
• 비가환 TSSOS 계층은 효과적인 희소성 활용 덕분에 순수 NPA 계층 대비 시간 창 길이에 따른 런타임 증가율을 감소시켰다.
• NPA SDP 근사화에서의 희소성은 뚜렷했으며(예를 들어 비제로 계수 비율이 높았고), 이는 TSSOS를 통한 더 빠른 해답 시간을 가능하게 했다.
• 모멘트 순서 $k=1$일 때, 이 방법은 여러 주가 예측 과제에서 기준 최소 제곱 방법보다 낮은 정규화된 평균 제곱근 오차(nrmse)를 달성했다.
• 이 방법은 예측에서 내구성을 보였으며, 진짜 시스템 역학이 불안정하거나 비 stationary한 경우에도 정확도를 유지했다.