[논문 리뷰] Generalized Kalman Smoothing: Modeling and Algorithms

Aleksandr Y. Aravkin, James V. Burke외 3명|arXiv (Cornell University)|2016. 09. 20.

Control Systems and Identification참고 문헌 70인용 수 7

한 줄 요약

이 논문은 비정규 분포 잡음과 이상치에 대해 더 뛰어난 내성과 급격한 변화 추적 능력을 갖추기 위해 제곱 페널티를 비연속적인 볼록 함수로 대체함으로써 일반화된 칼만 스무딩을 제안한다. 문제를 볼록 최적화로 수식화하고, 원-이중 알고리즘을 통한 효율적 해법을 위해 펜첼 쌍대성 이론을 활용하며, 비정규 잡음과 희소 신호가 존재하는 수치 예제에서 전통적 방법보다 뛰어난 성능을 보여준다.

ABSTRACT

State-space smoothing has found many applications in science and engineering. Under linear and Gaussian assumptions, smoothed estimates can be obtained using efficient recursions, for example Rauch-Tung-Striebel and Mayne-Fraser algorithms. Such schemes are equivalent to linear algebraic techniques that minimize a convex quadratic objective function with structure induced by the dynamic model. These classical formulations fall short in many important circumstances. For instance, smoothers obtained using quadratic penalties can fail when outliers are present in the data, and cannot track impulsive inputs and abrupt state changes. Motivated by these shortcomings, generalized Kalman smoothing formulations have been proposed in the last few years, replacing quadratic models with more suitable, often nonsmooth, convex functions. In contrast to classical models, these general estimators require use of iterated algorithms, and these have received increased attention from control, signal processing, machine learning, and optimization communities. In this survey we show that the optimization viewpoint provides the control and signal processing community great freedom in the development of novel modeling and inference frameworks for dynamical systems. We discuss general statistical models for dynamic systems, making full use of nonsmooth convex penalties and constraints, and providing links to important models in signal processing and machine learning. We also survey optimization techniques for these formulations, paying close attention to dynamic problem structure. Modeling concepts and algorithms are illustrated with numerical examples.

연구 동기 및 목표

• 비정규 분포 잡음과 이상치 상황에서 제곱 페널티가 내성적인 추정을 제공하지 못하는 고전적 칼만 스무딩의 한계를 해결하기 위해.
• 가우시안 가정을 초월하여 일반 볼록 페널티와 제약 조건을 사용한 유연한 모델링 프레임워크를 개발하기 위해.
• 최적화 기반 접근을 통해 제어, 신호 처리, 기계 학습의 시각을 통합하기 위해.
• 대규모 일반화 스무딩 문제를 효율적으로 해결하기 위해 동적 구조와 이중성 이론을 활용한 알고리즘을 제공하기 위해.

제안 방법

• 상태 경로와 잔차에 대한 볼록 함수(비연속 가능) 페널티의 합을 최소화하는 방식으로 일반화된 칼만 스무딩을 볼록 최적화 문제로 수식화한다.
• 펜첼 쌍대성 이론을 활용해 원-이중 1차 방법을 통해 효율적인 해법을 도출한다.
• 펜첼-로카펠라 쌍대성 정리를 적용하여 약한 제약 조건 충족 조건 하에서 강한 이중성을 확립함으로써 최적성 조건이 충족됨을 보장한다.
• 상태공간 모델의 동적 구조를 활용하기 위해 ADMM(교차 방향 승수법) 및 원-이중 하이브리드 기울기(Primal-Dual Hybrid Gradient, PDHG)와 같은 반복 알고리즘을 적용한다.
• 통계 모델과 비연속 페널티(예: L1, 노름)를 통합하여 상태 추정에서 희소성과 내성성을 증진시킨다.
• 최적화 문제의 이중 문제를 $ f^*(w) + g^*(-K^T w) $ 형태로 유도하고, 이중 상승 또는 분할 기반 알고리즘을 통해 효율적인 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 어떻게 볼록 최적화를 활용하여 고전적 칼만 스무딩을 비정규 분포 잡음과 이상치에 대해 일반화할 수 있는가?
• RQ2 비연속 페널티를 갖는 일반화된 스무딩 문제에서 강한 이중성이 성립하는 조건은 무엇인가?
• RQ3 상태공간 모델의 동적 구조는 어떻게 활용되어 효율적이고 확장 가능한 일반화 스무딩 알고리즘을 설계할 수 있는가?
• RQ4 임펄스적 간섭이나 희소 상태 변화가 존재할 경우, 일반화된 스무딩이 고전적 제곱 형식에 비해 성능적으로 얼마나 향상되는가?
• RQ5 다양한 볼록 페널티(예: L1, 노름)는 동적 시스템에서 상태 추정의 내성성과 정확성에 어떤 영향을 미치는가?

주요 결과

• 일반화된 칼만 스무딩은 특히 잡음이 가우시안 분포에서 벗어날 경우 고전적 제곱 형식에 비해 이상치와 임펄스 반응에 대해 훨씬 뛰어난 내성성을 확보한다.
• 비연속 볼록 페널티의 사용은 고전적 방법이 포착하지 못하는 급격한 상태 변화와 희소 입력을 정확하게 추적할 수 있도록 한다.
• 약한 제약 조건 충족 조건 하에서 강한 이중성이 성립하여 원문제와 이중문제가 동일한 최적해를 제공함을 보장하며, 명확한 최적성 조건이 확보된다.
• ADMM 및 PDHG와 같은 원-이중 알고리즘은 문제의 동적 구조와 희소성 특성을 활용하여 대규모 일반화 스무딩 문제를 효율적으로 해결한다.
• 수치 예제에서는 무거운 尾部 잡음과 희소 착란이 존재하는 상황에서 제안된 프레임워크가 고전적 Rauch-Tung-Striebel 및 Mayne-Fraser 스무딩기보다 뛰어난 성능을 보였다.
• 이 프레임워크는 제어, 신호 처리, 기계 학습의 동적 시스템 추론을 통합하는 최적화 기반의 통합적 시각을 제공한다.