[논문 리뷰] On Relationship between Primal-Dual Method of Multipliers and Kalman Filter

Guoqiang Zhang, W. Bastiaan Kleijn외 1명|arXiv (Cornell University)|2017. 08. 23.

Cybersecurity and Information Systems인용 수 4

한 줄 요약

이 논문은 선형 상태공간 모델을 나타내는 성장하는 체인 그래프 위에서 최대우도추정 문제에 PDMM(원시-이중 승수 방법)를 적용할 때, 적절한 파라미터 선택 조건 하에서 PDMM이 칼만 필터와 동일한 업데이트 방정식을 생성함을 보여줌으로써 PDMM과 칼만 필터 간의 이론적 동치성을 확립한다. 주요 기여는 분산 최적화와 최적 추정 간의 공식적 연결을 제시하며, 수형 구조 그래프에서 PDMM의 유한 수렴성을 입증하는 것이다.

ABSTRACT

Recently the primal-dual method of multipliers (PDMM), a novel distributed optimization method, was proposed for solving a general class of decomposable convex optimizations over graphic models. In this work, we first study the convergence properties of PDMM for decomposable quadratic optimizations over tree-structured graphs. We show that with proper parameter selection, PDMM converges to its optimal solution in finite number of iterations. We then apply PDMM for the causal estimation problem over a statistical linear state-space model. We show that PDMM and the Kalman filter have the same update expressions, where PDMM can be interpreted as solving a sequence of quadratic optimizations over a growing chain graph.

연구 동기 및 목표

• 수형 구조 그래프 위에서 분해 가능한 이차 최적화 문제에 대해 PDMM의 수렴 행동을 조사한다.
• 분산 최적화 방법인 PDMM과 고전적 추정 알고리즘인 칼만 필터 간의 관계를 탐색한다.
• PDMM이 상태공간 모델에서 유도된 성장하는 체인 그래프 위에서 이차 최적화 문제의 시퀀스를 해결하는 것으로 해석될 수 있음을 보여준다.
• PDMM이 칼만 필터의 동일한 업데이트 역학을 생성할 수 있는 조건을 수립한다.
• 적절한 파라미터 선택 조건 하에서, PDMM이 수형 구조 그래프 위의 이차 문제에서 유한 수렴을 달성할 수 있음을 보여준다.

제안 방법

• 선형 상태공간 모델에서 최대우도추정 문제를 성장하는 체인 그래프 위에서 분해 가능한 이차 최적화 문제로 재구성한다.
• 재구성된 최적화 문제에 PDMM을 적용하며, 각 시간 단계를 수형 구조 그래프 모델의 노드로 간주한다.
• PDMM 업데이트 규칙가 칼만 필터의 예측 및 업데이트 단계와 일치하도록 파라미터를 선택한다.
• 행렬 항등식과 공분산 행렬의 성질을 활용하여 PDMM과 칼만 필터의 업데이트 방정식 간의 동치성을 유도한다.
• 변분 분석과 행렬 역행렬 보조정리(예: 보조정리 3)를 활용하여 PDMM과 칼만 필터링에서 유도된 표현을 단순화하고 상호 동치성을 확립한다.
• 대수적 유도를 통해 등가성을 검증하여, PDMM의 상태 추정치와 오차 공분산 업데이트가 칼만 필터와 정확히 일치함을 보여준다.

실험 결과

연구 질문

• RQ1 PDMM은 수형 구조 그래프 위의 이차 최적화 문제에서 유한 수렴을 달성할 수 있는가?
• RQ2 PDMM의 업데이트 규칙과 칼만 필터 간에 공식적인 수학적 동치성이 존재하는가?
• RQ3 칼만 필터의 추정 과정은 어떻게 PDMM을 통한 분산 최적화 단계의 시퀀스로 해석될 수 있는가?
• RQ4 PDMM에서 어떤 파라미터 선택 조건이 칼만 필터와 동일한 역학을 유도하는가?
• RQ5 상태공간 모델의 구조(성장하는 체인 그래프 형태)는 PDMM에서 유한 수렴을 가능하게 하는가?

주요 결과

• 적절한 파라미터 선택 조건 하에서, PDMM은 분해 가능한 이차 최적화 문제에 대해 수형 구조 그래프 위에서 유한 반복 내에 최적 해에 수렴한다.
• 선형 상태공간 모델에 적용되었을 때, PDMM은 칼만 필터와 동일한 상태 추정치 및 오차 공분산 업데이트 방정식을 생성한다. 이는 온건한 조건 하에서 성립한다.
• 최적화 문제가 성장하는 체인 그래프 위에서 이차 프로그래밍의 시퀀스로 재구성될 경우, 칼만 필터의 예측 및 업데이트 단계는 PDMM의 업데이트 단계와 수학적으로 동치이다.
• 등가성은 행렬 대수를 통해 확립되며, 행렬 역행렬 보조정리와 공분산 전파 항등식의 활용을 포함한다.
• PDMM의 공식화는 칼만 필터를 최대우도추정 문제에 대한 분산 해법으로 보는 새로운 최적화 이론적 해석을 제공한다.
• 등가성은 가우시안 노이즈와 선형 상태공간 역학을 전제로 하며, 이 설정 하에서 두 방법 모두 최적성을 확보함을 확인한다.