[논문 리뷰] Tensor network subspace identification of polynomial state space models

Kim Batselier, Ching Yun Ko외 1명|arXiv (Cornell University)|2017. 09. 26.

Tensor decomposition and applications참고 문헌 10인용 수 3

한 줄 요약

이 논문은 다항 상태공간 모델을 위한 텐서 네트워크 부분공간 식별 방법을 제안하며, 비선형성을 저랭크 텐서 네트워크로 표현하여 차원의 극복을 피한다. 블록 하 Hankel 행렬이 부분공간 방법에서 정확히 저랭크 텐서 네트워크로 표현될 수 있음을 증명하여, 표준 행렬 방법 대비 계산 및 저장 비용을 최대 20배까지 감소시키며, 노이즈가 섞인 데이터와 실제 세계 데이터에서도 강건한 성능을 보인다.

ABSTRACT

This article introduces a tensor network subspace algorithm for the identification of specific polynomial state space models. The polynomial nonlinearity in the state space model is completely written in terms of a tensor network, thus avoiding the curse of dimensionality. We also prove how the block Hankel data matrices in the subspace method can be exactly represented by low rank tensor networks, reducing the computational and storage complexity significantly. The performance and accuracy of our subspace identification algorithm are illustrated by numerical experiments, showing that our tensor network implementation is around 20 times faster than the standard matrix implementation before the latter fails due to insufficient memory, is robust with respect to noise and can model real-world systems.

연구 동기 및 목표

• 다항식 차수 증가에 따라 매개변수 수가 기하급수적으로 증가하는 다항 상태공간 모델에서 차원의 극복 문제를 해결한다.
• 텐서 네트워크를 활용해 반복적이지 않고 계산 비용이 낮은 다항 상태공간 모델의 식별 방법을 개발한다.
• 메모리나 시간 제약으로 인해 기존 방법이 실패하는 고차원 실세계 시스템에서 노이즈에 강건하고도 안정적인 시스템 식별을 가능하게 한다.
• 텐서 네트워크 표현이 부분공간 방법의 核심이 되는 블록 하 Hankel 데이터 행렬을 정확히 포괄할 수 있음을 입증한다. 이는 저랭크 압축을 가능하게 한다.
• 반복적 방법인 PNLSS에 비해 느린 수렴과 높은 계산 비용을 겪는 기존 방법들에 대한 확장 가능한 대안을 제공한다.

제안 방법

• 선형 상태 전이와 다변수 다항식 입력 의존성을 갖는 다항 상태공간 모델을 수식화하며, 텐서로 매개변수화한다.
• 다항식 함수 f(·)와 g(·)를 텐서 네트워크로 표현하여 기하급수적 매개변수 증가를 피하는 컴팩트한 저랭크 표현을 가능하게 한다.
• 기존 MOESP 부분공간 방법을 입력-출력 데이터의 텐서 네트워크 표현을 직접 다룰 수 있도록 수정한다.
• 정리 4.1에서 부분공간 식별에서 사용되는 블록 하 Hankel 데이터 행렬이 정확히 저랭크 텐서 네트워크로 표현될 수 있음을 증명하며, 정확한 저랭크 압축을 가능하게 한다.
• TNMOESP MATLAB/Octave 패키지에 알고리즘을 구현하여, 효율적 계산과 저장을 위해 텐서 트레인 및 터커 형식을 활용한다.
• 텐서 네트워크 구조를 이용해 큰 조밀 행렬을 명시적으로 생성하지 않고도 부분공간 식별을 수행함으로써, 메모리 및 시간 복잡도를 감소시킨다.

실험 결과

연구 질문

• RQ1 다항식 차수 증가에 따라 매개변수 수가 기하급수적으로 증가하는 문제를 해결하기 위해, 텐서 네트워크를 다항 상태공간 모델에 적용하여 표현할 수 있는가?
• RQ2 부분공간 식별에서 사용되는 블록 하 Hankel 데이터 행렬을 저랭크 텐서 네트워크로 정확히 표현할 수 있는가?
• RQ3 제안된 텐서 네트워크 부분공간 방법이 표준 행렬 기반 구현 대비 계산 및 저장 복잡도를 크게 감소시키는가?
• RQ4 노이즈가 섞인 실세계 시스템에서 텐서 네트워크 방법의 성능이 반복적 방법인 PNLSS 및 볼테라 모델과 비교해 어떻게 되는가?
• RQ5 텐서 네트워크 기반 모델이 비선형 시스템 식별의 반복 최적화에 효과적인 초기 추정치로 활용될 수 있는가?

주요 결과

• 제안된 TNMOESP 방법은 후행하는 표준 행렬 기반 부분공간 식별 방법이 메모리 제약으로 인해 실패하기 이르기까지 약 20배 빠르게 동작한다.
• 실세계 밸브 증폭기 시스템에서 상대적 검증 오차가 0.148로 나타나, 선형 상태공간 모델(0.418 오차)보다 뚜렷이 뛰어난 성능을 보였다.
• PNLSS 도구상자로 식별한 일반 다항 상태공간 모델은 더 낮은 오차(0.087)를 기록했지만, 12,317초가 소요되어 정확도와 계산 비용 사이의 상충 관계를 보여주었다.
• 볼테라 모델은 가장 낮은 오차(0.004)를 기록하여, 실제 시스템이 제안된 다항 상태공간 형태보다 볼테라 구조에 더 잘 기술된다는 점을 시사했다.
• 정리 4.1에서 입증된 바와 같이, 텐서 네트워크 표현은 블록 하 Hankel 행렬을 정확히 저랭크 압축할 수 있으며, 이는 본 방법의 효율성과 확장성의 기초가 된다.
• 방법은 노이즈에 강건하며 실세계 비선형 동역학을 성공적으로 모델링하여, 합성 벤치마크를 넘는 실용적 타당성을 입증했다.