[논문 리뷰] Statistical Physics and Information Theory Perspectives on Linear Inverse Problems

Junan Zhu|arXiv (Cornell University)|2017. 05. 15.

Sparse and Compressive Sensing Techniques참고 문헌 113인용 수 4

한 줄 요약

이 학위논문은 통계역학과 정보이론을 활용하여 대규모 선형 역문제를 다루며, 복수 측정 벡터(MMV) 설정에서 최소 평균 제곱 오차(MMSE)를 특성화하기 위해 복제 분석을 적용하고, 알려지지 않은 벡터에 대한 사전 지식이 필요 없이 MMSE 경쟁 성능을 달성하는 MCMC 기반의 보편 추정 알고리즘을 개발한다. 또한 분산 시스템에서 통신, 계산 및 추정 품질 간 최적의 트레이드오프를 수립한다.

ABSTRACT

Many real-world problems in machine learning, signal processing, and communications assume that an unknown vector $x$ is measured by a matrix A, resulting in a vector $y=Ax+z$, where $z$ denotes the noise; we call this a single measurement vector (SMV) problem. Sometimes, multiple dependent vectors $x^{(j)}, j\in \{1,...,J\}$, are measured at the same time, forming the so-called multi-measurement vector (MMV) problem. Both SMV and MMV are linear models (LM's), and the process of estimating the underlying vector(s) $x$ from an LM given the matrices, noisy measurements, and knowledge of the noise statistics, is called a linear inverse problem. In some scenarios, the matrix A is stored in a single processor and this processor also records its measurements $y$; this is called centralized LM. In other scenarios, multiple sites are measuring the same underlying unknown vector $x$, where each site only possesses part of the matrix A; we call this multi-processor LM. Recently, due to an ever-increasing amount of data and ever-growing dimensions in LM's, it has become more important to study large-scale linear inverse problems. In this dissertation, we take advantage of tools in statistical physics and information theory to advance the understanding of large-scale linear inverse problems. The intuition of the application of statistical physics to our problem is that statistical physics deals with large-scale problems, and we can make an analogy between an LM and a thermodynamic system. In terms of information theory, although it was originally developed to characterize the theoretic limits of digital communication systems, information theory was later found to be rather useful in analyzing and understanding other inference problems. (The full abstract cannot fit in due to the space limit. Please refer to the PDF.)

연구 동기 및 목표

• 통계역학과 정보이론의 도구를 활용하여 대규모 선형 역문제의 이론적 성능 한계를 이해하기.
• 복제 분석을 통해 복수 측정 벡터(MMV) 문제에서 최소 평균 제곱 오차(MMSE)를 특성화하기.
• 분산 선형 역문제에서 통신 비용, 계산 비용, 추정 품질 간 최적의 트레이드오프를 규명하기.
• 알려지지 않은 벡터에 대한 사전 지식이 부정확하거나 없더라도 잘 작동하는 단일 측정 벡터(SMV) 문제를 위한 보편 추정 알고리즘을 설계하기.
• 선형 역문제에서 최소 에너지 해에 수렴하는 마르코프 체인 몽테카를로(MCMC) 프레임워크를 개발하고 이론적으로 정당화하기.

제안 방법

• 통계역학의 복제 분석을 적용하여 MMV 문제에서 이론적 MMSE 성능를 유도하고, 성능가에 따라 구분되는 영역을 규명한다.
• 온도 스케줄을 적용한 비균일 마르코프 체인을 사용하여 반복적 추정을 모델링하고 최소 에너지 상태로 수렴하도록 한다.
• 낮은 초과 평균 제곱 오차(MSE) 범위를 초월하는 조건에서 최적의 통신 체계를 연구하기 위해 분산 알고리즘 프레임워크를 활용한다.
• MCMC 과정에 온도에 의존하는 전이 행렬을 도입하고, 냉각 스케줄이 낮은 에너지 구성으로 수렴하도록 유도한다.
• 에르고딕성 이론을 활용하여 MCMC 과정이 최소 에너지 해에 대한 균일 분포로 강한 수렴성을 보임을 증명한다.
• 에너지 갭 ∆q와 온도 감쇠를 사용하여 마르코프 체인의 에르고딕 계수에 대한 경계를 도출하여 수렴성을 보장한다.

실험 결과

연구 질문

• RQ1 대규모 복수 측정 벡터(MMV) 선형 역문제에서 MMSE의 이론적 성능 한계는 무엇인가?
• RQ2 분산 선형 역문제에서 통신 비용, 계산 비용, 추정 품질 간 최적의 트레이드오프는 어떻게 이루어지는가?
• RQ3 알려지지 않은 벡터에 대한 사전 지식이 부정확하거나 없더라도 잘 작동하는 보편 추정 알고리즘을 SMV 문제에 대해 설계할 수 있는가?
• RQ4 비균일 마르코프 체인이 선형 역문제에서 최소 에너지 해 집합으로 수렴하기 위한 조건은 무엇인가?
• RQ5 MCMC 알고리즘의 온도 스케줄은 수렴성과 추정 정확도에 어떤 영향을 미치는가?

주요 결과

• 복제 분석을 통해 MMV 문제에서 MMSE가 다르게 행동하는 성능 영역이 드러나며, 이는 추정 한계의 이론적 특성화를 가능하게 한다.
• 제안된 MCMC 기반 알고리즘은 알려지지 않은 벡터에 대한 사전 지식 없이도 광범위한 수치 실험에서 이론적 MMSE에 가까운 평균 제곱 오차를 달성한다.
• 알고리즘에서 사용된 비균일 마르코프 체인은 강한 에르고딕성을 갖추고 있으며, 최소 에너지 해에 대한 균일 분포로 수렴함을 보장한다.
• 연속된 안정 상태 분포 간의 총 변동 거리 합이 수렴함을 확인하여 강한 에르고딕성과 알고리즘 수렴성을 확인한다.
• 에르고딕 계수에 대한 하한이 1 − exp(−st N ∆q)로 도출되었으며, 이는 적절한 온도 감쇠 조건 하에서 약한 에르고딕성을 보장하고 수렴성을 뒷받침한다.
• 이 프레임워크는 특히 초과 MSE가 낮은 근처에서 최적의 트레이드오프를 수립하며, 분산 선형 역문제에서 통신 비용, 계산 비용, 추정 품질 간의 최적의 균형을 확립한다.