[논문 리뷰] Online Time-Varying Topology Identification via Prediction-Correction Algorithms

Alberto Natali, Mario Coutiño외 2명|arXiv (Cornell University)|2020. 10. 22.

Target Tracking and Data Fusion in Sensor Networks인용 수 6

한 줄 요약

이 논문은 비-stationary 환경에서 시간에 따라 변화하는 동적 그래프 구조 식별을 위한 온라인 예측-보정 알고리즘을 제안한다. 이 알고리즘은 시간에 따라 변화하는 최적화를 활용하여 조기 정지 방식으로 암묵적 정규화를 구현한다. 본 방법은 정규화나 구조 변화 지점에 대한 사전 지식 없이도 시간에 따라 변화하는 정밀도 행렬을 안정적으로 추적할 수 있다.

ABSTRACT

Signal processing and machine learning algorithms for data supported over graphs, require the knowledge of the graph topology. Unless this information is given by the physics of the problem (e.g., water supply networks, power grids), the topology has to be learned from data. Topology identification is a challenging task, as the problem is often ill-posed, and becomes even harder when the graph structure is time-varying. In this paper, we address the problem of dynamic topology identification by building on recent results from time-varying optimization, devising a general-purpose online algorithm operating in non-stationary environments. Because of its iteration-constrained nature, the proposed approach exhibits an intrinsic temporal-regularization of the graph topology without explicitly enforcing it. As a case-study, we specialize our method to the Gaussian graphical model (GGM) problem and corroborate its performance.

연구 동기 및 목표

• 비스테이셔너리 환경에서 스트리밍 데이터로부터 시간에 따라 변화하는 그래프 구조를 학습하는 데 도전 과제를 해결한다.
• 배치 처리 및 윈도우 기반 방법의 한계를 극복하기 위해 실시간, 적응형 구조 추론을 가능하게 한다.
• 비용 함수에 정규화 항을 명시적으로 추가하지 않고도 반복 제약 조건을 통해 암묵적 정규화를 구현하는 온라인 알고리즘을 개발한다.
• 동적 정밀도 행렬 추정 문제에 대해 프레임워크의 유효성을 입증한다.
• 스마트 그리드 및 뇌 연결망과 같은 애플리케이션에서 실시간 이상 탐지 및 의사결정을 가능하게 한다.

제안 방법

• 비스테이셔너리 데이터 스트림을 다루기 위해 시간에 따라 변화하는 볼록 최적화 문제로 동적 구조 식별을 수식화한다.
• 과거 해를 바탕으로 다음 구조 반복 값을 추정하는 예측 단계와 새로운 데이터를 사용해 이를 보정하는 보정 단계를 도입한다.
• 고정된 반복 횟수(P 예측 단계 및 C 보정 단계)를 사용하여 조기 정지 방식으로 암묵적 시간 정규화를 강제한다.
• 각 시간 단계에서 정밀도 행렬에 대한 최대우도추정(MLE) 문제를 해결함으로써 가우시안 그래픽 모델(GGM)에 알고리즘을 적용한다.
• 데이터 드리프트에 적응하기 위해 I-MLE(instantaneous MLE) 해에 기록 인자(forgetting factor)를 도입하지만, P-C 알고리즘은 반복적 정밀화를 통해 안정성을 유지한다.
• 성능 지표로 정규화된 평균 제곱 오차(NMSE)를 정의하고, P-C 및 C-O 해를 배치 MLE(B-MLE) 및 순간 MLE(I-MLE) 해와 비교한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변화하는 네트워크 구조가 존재하지만 변화 지점에 대한 사전 지식이 없을 때 실시간으로 그래프 구조를 식별할 수 있는가?
• RQ2 비용 함수에 정규화 항을 명시적으로 추가하지 않고도 온라인 알고리즘이 시간에 따라 변화하는 그래프 해를 암묵적으로 정규화할 수 있는가?
• RQ3 예측-보정 프레임워크는 동적 환경에서 보정 전용 또는 배치 처리 방법 대비 추적 성능을 어느 정도 향상시키는가?
• RQ4 비스테이셔너리 환경에서 반복 예산(P 및 C)과 기록 인자에 따라 알고리즘 성능은 어떻게 변화하는가?
• RQ5 제안된 프레임워크는 GGM을 초월하여 시간에 따라 변화하는 구조를 갖는 다른 그래프 학습 문제로 일반화될 수 있는가?

주요 결과

• 예측-보정(P-C) 알고리즘이 보정 전용(C-O) 방법보다 정규화된 MSE(NMSE)를 크게 낮게 유지한다. 특히 t=200 및 t=400에서의 구조 변화 지점에서 두드러진다.
• P-C 해는 모든 정적 간격에서 배치 MLE(B-MLE) 해에 수렴함으로써 진정한 기저 구조를 효과적으로 추적함을 보여준다.
• 알고리즘은 내재된 시간 정규화를 갖는다: 비용 함수에 명시적 정규화가 없더라도 조기 정지 덕분에 연속된 시간 단계 간 해가 유사하게 유지된다.
• 고차원 설정(N=128)에서도 P-C 알고리즘은 계산 제약 조건 속에서도 진정한 시간에 따라 변화하는 정밀도 행렬 ${\bf S}_t$ 를 성공적으로 추적하며, 50%의 그래프 확장이 존재하는 상황에서도 명확한 궤적 추적을 보인다.
• P와 C 값을 조절함으로써 성능를 조정할 수 있다: C 값을 높게 설정하면 해가 I-MLE에 더 가까워지고, P와 C 값을 낮추면 B-MLE 해에 더 잘 맞춘다.
• t=200 및 t=400에서 NMSE가 급격히 증가하지만, P-C 해는 C-O 및 I-MLE 해보다 더 빨리 회복하고 오차를 낮게 유지한다.