[논문 리뷰] Inference with Aggregate Data: An Optimal Transport Approach

Rahul Singh, Isabel Haasler외 3명|arXiv (Cornell University)|2020. 03. 31.

Bayesian Modeling and Causal Inference참고 문헌 50인용 수 15

한 줄 요약

이 논문은 다중경계 최적 운반 이론을 활용하여 집합적 데이터로 필터링을 위한 효율적이고 수렴 가능한 알고리즘인 싱크호른 믿음 전파(SBP)를 제안한다. 추론 문제를 그래픽 모델에 구조화된 엔트로피 정규화 최적 운반 문제로 재구성함으로써, SBP는 싱크호른 알고리즘을 활용하여 다항식 시간 복잡도와 나무 구조 그래프에서의 전역 수렴성을 달성하며, 기존 방법들보다 안정성과 정확도에서 뛰어나다.

ABSTRACT

We consider inference (filtering) problems over probabilistic graphical models with aggregate data generated by a large population of individuals. We propose a new efficient belief propagation type algorithm over tree-structured graphs with polynomial computational complexity as well as a global convergence guarantee. This is in contrast to previous methods that either exhibit prohibitive complexity as the population grows or do not guarantee convergence. Our method is based on optimal transport, or more specifically, multi-marginal optimal transport theory. In particular, we consider an inference problem with aggregate observations, that can be seen as a structured multi-marginal optimal transport problem where the cost function decomposes according to the underlying graph. Consequently, the celebrated Sinkhorn/iterative scaling algorithm for multi-marginal optimal transport can be leveraged together with the standard belief propagation algorithm to establish an efficient inference scheme which we call Sinkhorn belief propagation (SBP). We further specialize the SBP algorithm to cases associated with hidden Markov models due to their significance in control and estimation. We demonstrate the performance of our algorithm on applications such as inferring population flow from aggregate observations. We also show that in the special case where the observations are generated by a single individual, our algorithm naturally reduces to the standard belief propagation algorithm.

연구 동기 및 목표

• 집합적 인구 수준의 데이터(예: 카운트 또는 히스토GRAM)만 제공될 때 확률적 그래픽 모델에서 신뢰할 수 있고 효율적인 추론을 해결하기 위해.
• 기존 방법들인 NLBP(불안정성, 수렴 보장 없음)와 Bethe-RDA(다른 관측 모델)의 한계를 극복하기 위해 새로운 추론 프레임워크를 개발하기 위해.
• 집합 관측에 대한 이론적으로 탄탄하고, 수렴 가능하며, 계산적으로 효율적인 알고리즘을 수립하기 위해.
• 은닉 마르코프 모델(HMM)에 이 알고리즘을 특화시켜 제어, 추정 및 이동 추적에의 응용을 가능하게 하기 위해.
• 조금씩 관측되는 센서 데이터를 가진 실제 시나리오, 예를 들어 새의 이주와 인파의 흐름에서 알고리즘의 강건성을 입증하기 위해.

제안 방법

• 그래픽 모델의 구조에 따라 분해되는 비용 함수를 갖는, 구조화된 다중경계 최적 운반(MOT) 문제로 집합적 추론 문제를 재구성하기.
• MOT 문제에 엔트로피 정규화를 적용하여, 효율적인 계산을 가능하게 하는 싱크호른 알고리즘의 적용을 가능하게 하기.
• 싱크호른 알고리즘을 믿음 전파 원리와 통합하여 싱크호른 믿음 전파(SBP) 알고리즘을 개발하기.
• 나무 구조 그래프의 위상과 엔트로피 정규화의 성질을 활용하여, 수렴성과 다항식 시간 복잡도를 보장하기.
• HMM에 SBP를 특화시켜 표준 전방-후방 알고리즘을 일반화한 집단 전방-후방 알고리즘을 유도하기.
• 추정 정확도 평가를 위해, 특히 순환 그래프에서의 유효성 검증을 위해 볼록 최적화를 기준으로 삼기.

실험 결과

연구 질문

• RQ1 수렴 보장과 다항식 시간 복잡도를 보장하는 믿음 전파 스타일 알고리즘을 집합적 데이터 추론에 대해 설계할 수 있는가?
• RQ2 다중경계 최적 운반 이론을 어떻게 활용하여 그래픽 모델 상에서 집합 관측의 구조적 의존성을 모델링할 수 있는가?
• RQ3 제안된 SBP 알고리즘이 NLBP와 Bethe-RDA와 비교해 수렴 안정성과 추정 정확도 측면에서 뛰어나게 되는가?
• RQ4 은닉 마르코프 모델에 대해 효과적으로 특화시킬 수 있는가? 이는 인구 수준 추적 응용에 적합한가?
• RQ5 이동 추적에서와 같이 센서 커버리지가 제한된 조건에서 SBP는 얼마나 잘 작동하는가?

주요 결과

• NLBP가 수렴 보장을 갖지 못하는 것과는 달리, SBP는 나무 구조 그래프에서 전역 수렴과 다항식 계산 복잡도를 달성한다.
• NLBP가 덤프링 없이 불안정성을 보이는 것과는 달리, SBP는 진짜 및 추정된 주변 확률의 1-노름 거리가 단조 감소하는 것으로 나타났다.
• 새의 이주와 인간 이동성 시뮬레이션에서, 100명과 10,000명의 에이전트를 포함한 다양한 인구 규모에서도 SBP는 안정된 성능을 유지한다.
• 순환 그래프에서 SBP는 정확한 주변 확률 추정치에 수렴하며, 1-노름 거리에서 다섯 개의 랜덤 시드 모두에서 수렴이 관찰되었다.
• 예를 들어 20×20 격자에 16개의 Wi-Fi 핫스팟 센서를 사용한 추적에서와 같이, 희박한 센서 데이터 조건에서도 다중모달 인구 분포를 성공적으로 추정한다.
• 단 한 명의 개인이 있는 극한의 경우, SBP는 표준 믿음 전파로 축소되어 고전적 추론과의 일致성을 확인한다.