[논문 리뷰] Statistical physics of linear and bilinear inference problems

Christophe Schülke|arXiv (Cornell University)|2016. 07. 03.

Advanced Statistical Methods and Models참고 문헌 1인용 수 3

한 줄 요약

이 학위논문은 통계역학 도구, 특히 민감도 전파와 복제 방법을 사용하여 선형 및 이차형 추론 문제를 위한 메시지 전달 알고리즘을 개발하고 분석한다. 빈도 없는 센서 캘리브레이션을 위한 새로운 알고리즘을 제안하고, 행렬 압축 센싱의 이론적 위상 전이 분석을 수행하며, 일반화된 선형 및 이차형 모델에 대한 상태 진동 방정식을 수립하여 에너지 구조의 특성에 따라 추론이 쉬운, 어려운, 또는 불가능한 영역을 밝혀낸다.

ABSTRACT

The recent development of compressed sensing has led to spectacular advances in the understanding of sparse linear estimation problems as well as in algorithms to solve them. It has also triggered a new wave of developments in the related fields of generalized linear and bilinear inference problems, that have very diverse applications in signal processing and are furthermore a building block of deep neural networks. These problems have in common that they combine a linear mixing step and a nonlinear, probabilistic sensing step, producing indirect measurements of a signal of interest. Such a setting arises in problems as different as medical or astronomical imaging, clustering, matrix completion or blind source separation. The aim of this thesis is to propose efficient algorithms for this class of problems and to perform their theoretical analysis. To this end, it uses belief propagation, thanks to which high-dimensional distributions can be sampled efficiently, thus making a Bayesian approach to inference tractable. The resulting algorithms undergo phase transitions just as physical systems do. These phase transitions can be analyzed using the replica method, initially developed in statistical physics of disordered systems. The analysis reveals phases in which inference is easy, hard or impossible. These phases correspond to different energy landscapes of the problem. The main contributions of this thesis can be divided into three categories. First, the application of known algorithms to concrete problems: community detection, superposition codes and an innovative imaging system. Second, a new, efficient message-passing algorithm for a class of problems called blind sensor calibration. Third, a theoretical analysis of matrix compressed sensing and of instabilities in Bayesian bilinear inference algorithms.

연구 동기 및 목표

• 신호 처리 및 기계학습에서 발생하는 일반화된 선형 및 이차형 추론 문제를 위한 효율적이고 이론적으로 탄탄한 알고리즘 개발.
• 통계역학 기법을 사용하여 저질서 행렬 압축 센싱 및 이차형 모델에서의 추론의 기본 한계 분석.
• 에너지 구조 분석을 통한 추론 성능의 위상 전이—쉬운, 어려운, 또는 불가능한 영역—특성 기술.
• 센서 어레이 시스템에 적용 가능한 빈도 없는 센서 캘리브레이션을 위한 새로운 메시지 전달 알고리즘 제안.
• 복잡하고 희소 설정을 포함한 일반화된 선형 및 이차형 모델에서 베이지안 추론에 대한 상태 진동 방정식 유도 및 검증.

제안 방법

• 고차원 복잡 모델에서 효율적인 베이지안 추론을 위해 민감도 전파를 활용.
• 다양한 매개변수 영역에서 추론 성능의 위상 전이를 분석하기 위해 복제 방법 적용.
• 메시지 전달 알고리즘의 상태 진동 방정식 유도하여 추정 오차 및 신호 대 잡음비의 변화 추적.
• 희소 신호에 대해 공동 가우스-베르누이 사전을 사용하고, 실수 또는 복소수 변수에 대한 적분 형태로 상태 진동을 기술.
• 특정 경우(예: 실수 이득 캘리브레이션)에서 고차원 적분을 충분통계를 통해 저차원으로 감소.
• 이차형 추론 프레임워크에서 알려지지 않은 센서 이득을 잠재변수로 모델링하여 빈도 없는 센서 캘리브레이션을 위한 새로운 알고리즘 제안.

실험 결과

연구 질문

• RQ1 저질서 행렬 압축 센싱에서의 베이지안 추론 성능의 기본 한계는 무엇이며, 시스템 매개변수에 따라 어떻게 달라지나?
• RQ2 이차형 및 일반화된 선형 모델에서 추론 성능의 위상 전이—쉬운, 어려운, 또는 불가능한—는 어떻게 발생하는가?
• RQ3 고차원 설정에서 최적 성능을 달성할 수 있는 새로운 메시지 전달 알고리즘을 설계할 수 있는가?
• RQ4 일반화된 선형 모델에서 민감도 전파의 상태 진동 방정식은 어떻게 복잡하고 희소한 신호 모델로 확장되는가?
• RQ5 베이지안 이차형 추론 알고리즘에서의 불안정성은 어떤 분석적 조건에 의해 유도되며, 이를 어떻게 특성화할 수 있는가?

주요 결과

• 빈도 없는 센서 캘리브레이션을 위한 새로운 효율적인 메시지 전달 알고리즘이 제안되었으며, 알려지지 않은 이득을 가진 센서 어레이에 적용 가능하다.
• 복제 방법을 사용하여 추론 성능의 위상 전이가 이론적으로 특성화되었으며, 쉬운, 어려운, 불가능한 영역이 명확히 드러났다.
• 복잡한 일반화된 선형 모델(예: 위상 복원 포함)에 대해 상태 진동 방정식이 도출되었으며, 특정 사전에 대해 정확한 적분 형태로 표현되었다.
• 복잡한 공동 가우스-베르누이 사전의 경우, 신호 분산의 상태 진동은 단일 변수 적분으로 감소하여 효율적인 수치 계산이 가능해졌다.
• 위상 복원의 경우, 잡음 분산의 상태 진동은 실수 변수에 대한 이重적분으로 표현되었으며, 수정형 베셀 함수를 이용한 닫힌 형태의 표현식이 존재한다.
• 이론적 분석을 통해 베이지안 이차형 추론에서 불안정성이 발생할 수 있으며, 이들의 발생 시점은 에너지 구조의 특성과 분석적으로 연결됨을 밝혀냈다.