[논문 리뷰] Tensor Network alternating linear scheme for MIMO Volterra system identification

Kim Batselier, Zhongming Chen외 1명|arXiv (Cornell University)|2016. 07. 01.

Tensor decomposition and applications참고 문헌 20인용 수 3

한 줄 요약

이 논문은 높은 차수의 MIMO Volterra 시스템을 효율적으로 식별하기 위해 두 가지 텐서 네트워크 기반의 교대 선형 알고리즘(ALS 및 MALS)을 제안한다. Volterra 커널을 압축된 텐서 트레인(TT) 형식으로 표현함으로써 차원의 극복(curse of dimensionality)을 피한다. 알고리즘들은 SVD와 QR을 이용한 저복잡도 선형 해법을 통해 반복적으로 정규 직교 TT-코어를 최적화하며, 표준 PC에서 2초 이내로 차수 10의 MIMO Volterra 모델을 고정밀도와 단조 수렴성으로 추정한다.

ABSTRACT

This article introduces two Tensor Network-based iterative algorithms for the identification of high-order discrete-time nonlinear multiple-input multiple-output (MIMO) Volterra systems. The system identification problem is rewritten in terms of a Volterra tensor, which is never explicitly constructed, thus avoiding the curse of dimensionality. It is shown how each iteration of the two identification algorithms involves solving a linear system of low computational complexity. The proposed algorithms are guaranteed to monotonically converge and numerical stability is ensured through the use of orthogonal matrix factorizations. The performance and accuracy of the two identification algorithms are illustrated by numerical experiments, where accurate degree-10 MIMO Volterra models are identified in about 1 second in Matlab on a standard desktop pc.

연구 동기 및 목표

• 고차수 MIMO Volterra 시스템 식별에서 발생하는 차원의 극복 문제를 해결하기 위해, 커널 저장 및 계산 비용이 차수에 따라 지수적으로 증가하는 문제를 다루기 위해.
• 카탈리틱 폴리아드릭 및 터커 분해의 한계를 극복하기 위해, 안정적이고 낮은 질서의 표현을 가능하게 하는 텐서 트레인(TT) 기반의 텐서 네트워크(TN) 프레임워크를 도입하기 위해.
• 입력-출력 데이터로부터 TT 형식의 Volterra 커널을 식별하는 두 가지 반복 알고리즘—ALS 및 MALS—을 개발하여 수치 안정성과 단조 수렴성을 보장하기 위해.
• 표준 하드웨어에서 실시간으로 고차수(최대 10차) MIMO Volterra 모델을 식별할 수 있음을 입증하여 비선형 시스템 모델링 분야에 실용적 응용 가능성을 제시하기 위해.

제안 방법

• Volterra 텐서를 압축된 텐서 트레인(TT) 형식으로 표현하여, 모든 커널 계수를 낮은 질서의 코어 텐서를 통해 암묵적으로 저장함으로써 전체 텐서를 명시적으로 구성하지 않음.
• 교대 최소 제곱법(ALS)을 사용해 각 TT-코어를 반복적으로 최적화하면서 나머지 코어는 고정함. 수치 안정성을 확보하기 위해 QR 및 SVD를 이용한 소규모 선형 시스템을 해법으로 사용함.
• SVD를 이용해 반복 과정에서 TT-랭크를 적응적으로 업데이트하는 수정된 ALS(MALS)를 도입하여, 더 나은 모델 복잡도 선택이 가능하도록 함.
• 각 단계에서 QR 및 SVD 분해를 통해 TT-코어의 직교성을 강제하여 수치 안정성 확보 및 악조건의 문제 방지.
• TT 형식에서의 비선형 최소 제곱 최적화 문제로 문제를 재구성하며, 표준 조건 하에서 수렴 보장.
• 입력-출력 데이터에 대해 알고리즘을 적용하고, 잔차 임계값에 도달할 때까지 TT-코어를 업데이트하며, 각 반복 단계에서 실행 시간과 정확도를 모니터링함.

실험 결과

연구 질문

• RQ1 텐서 트레인(TT)과 같은 텐서 네트워크 형식을 사용해 전체 텐서를 명시적으로 구성하지 않고도 고차수 MIMO Volterra 커널을 효과적으로 표현할 수 있는가?
• RQ2 ALS/MALS와 같은 반복적 교대 선형 방법이 TT 형식에서 MIMO Volterra 시스템을 효율적으로 식별하면서도 단조 수렴성과 수치 안정성을 보장할 수 있는가?
• RQ3 표준 하드웨어에서 고차수(예: 10차) MIMO Volterra 시스템을 식별할 때 제안된 알고리즘이 계산 속도와 정확도 측면에서 어떻게 성능을 발휘하는가?
• RQ4 노이즈의 영향은 식별 성능에 어떤 영향을 미치며, MALS 알고리즘이 모델 정확도와 복잡도의 균형을 맞추기 위해 TT-랭크를 적응적으로 조정할 수 있는가?
• RQ5 TT 기반 프레임워크는 서브초 내로 10차 MIMO Volterra 모델을 식별할 수 있는가? 이를 통해 실시간 또는 근접 실시간 시스템 식별이 가능해지는가?

주요 결과

• 제안된 ALS 및 MALS 알고리즘은 표준 데스크톱 하드웨어를 사용해 약 1초 내로 10차 MIMO Volterra 시스템을 성공적으로 식별하여 놀라운 계산 효율성을 입증함.
• ALS 방법은 25 dB 입력 SNR 신호에서 상대 잔차 0.052와 시뮬레이션 출력 SNR 37 dB를 달성하여 노이즈 조건에서도 높은 정밀도를 보임.
• MALS 방법은 수렴 속도에서 ALS를 능가하여 모든 SNR 수준에서 1.1~1.3초 내로 식별을 완료하며, 시뮬레이션 출력에서 일관된 SNR 향상이 관찰됨.
• MALS 알고리즘은 TT-랭크를 동적으로 적응적으로 조정하며, 높은 노이즈 조건에서는 랭크를 증가시키지만, 데이터가 부족할 경우 과적합의 위험이 있음을 시사하며, 정규화가 필요함.
• SVD 및 QR을 통한 직교 TT-코어 업데이트를 통해 두 알고리즘이 단조 수렴성과 수치 안정성을 보장하며, 악조건의 문제를 방지함.
• TT 형식은 저장 및 계산 비용을 지수적 $(pM)^d$ 에서 $O(d(pM+1)r^2)$ 로 감소시켜 고차수 MIMO Volterra 시스템의 차원의 극복 문제를 효과적으로 해결함.