[논문 리뷰] Mutual Information for the Stochastic Block Model by the Adaptive Interpolation Method

Jean Barbier, Chun Lam Chan외 1명|arXiv (Cornell University)|2019. 02. 19.

Random Matrices and Applications참고 문헌 30인용 수 4

한 줄 요약

이 논문은 적응형 보간법을 사용하여 비대칭 두 그룹 스토케스틱 블록 모델에서 상호정보량에 대한 단일 문자 변분 표현을 직접적이고 자가 포함된 방식으로 증명한다. 이전의 간접적 접근 방식이 매트릭스 추정 문제로 문제를 매핑하는 데 의존하는 것과는 달리, 본 연구는 매트릭스 요인분해 문제로의 이동 없이 순수하게 SBM 프레임워크 내에서 결과를 도출한다. 이는 표준 가우시안 적분 by parts를 피하기 위해 베르누이 변수에 특화된 새로운 근사 적분 by parts 공식을 도입함으로써 가능하다.

ABSTRACT

We rigorously derive a single-letter variational expression for the mutual information of the asymmetric two-groups stochastic block model in the dense graph regime. Existing proofs in the literature are indirect, as they involve mapping the model to a rank-one matrix estimation problem whose mutual information is then determined by a combination of methods (e.g., interpolation, cavity, algorithmic, spatial coupling). In this contribution we provide a self-contained direct method using only the recently introduced adaptive interpolation method.

연구 동기 및 목표

• 밀도가 높은 비대칭 두 그룹 스토케스틱 블록 모델에서의 점근적 상호정보량에 대한 엄밀하고 직접적인 유도를 제공하는 것.
• 단일 행렬 추정 문제로의 매핑에 의존하는 이전 간접 증명의 한계를 극복하는 것.
• 다른 모델로의 이동 없이 오직 적응형 보간법만을 사용하여 기존 접근 방식을 통합하고 단순화하는 것.
• 인접행렬 내의 베르누이 랜덤 변수에 특화된 새로운 근사 적분 by parts 공식을 개발하는 것.
• 단일이고 일관된 방법을 통해 상호정보량에 대한 날카운 상한과 하한을 확립하는 것.

제안 방법

• 적응형 보간법이 스토케스틱 블록 모델에 직접 적용되어 매트릭스 분해 문제로의 간접적 매핑을 피한다.
• 인접행렬 원소에 대한 새로운 근사 적분 by parts 공식이 베르누이 분포에 대해 유도되며, 이는 기존의 가우시안 적분 by parts를 대체한다.
• 모델의 자유 에너지의 도함수를 추적하기 위해 매개변수 $ t \in [0,1] $ 를 사용하여 원래 모델과 더 단순한 기준 모델 사이의 연속적 보간을 구성한다.
• 보간 경로를 제어하기 위해 두 단계의 보간이 사용된다: 먼저 편향 매개변수 $ \epsilon $ 를 도입하고, 그 다음 시간 유사 매개변수 $ t $ 를 도입한다.
• 자유 에너지의 $ t $ 에 대한 도함수는 새로운 근사 적분 by parts를 사용하여 계산되며, 이는 변분 표현을 이끈다.
• 최종적으로 이 표현은 $ n $ 이 매우 클 때 단일 문자 변분 공식으로 수렴함을 보여주며, 이는 상호정보량을 제공한다.

실험 결과

연구 질문

• RQ1 비대칭 두 그룹 스토케스틱 블록 모델에서 상호정보량에 대한 직접적이고 자가 포함된 증명이 매트릭스 추정 문제로의 매핑 없이 가능할 수 있는가?
• RQ2 적응형 보간법이 이 맥락에서 상호정보량에 대한 날카운 상한과 하한을 도출하는 데 어떤 역할을 하는가?
• RQ3 그래프 모델의 맥락에서 비가우시안, 즉 베르누이 분포를 가진 변수에 대해 적분 by parts를 어떻게 적응시킬 수 있는가?
• RQ4 적응형 보간법이 대칭과 비대칭 커뮤니티 크기를 모두 포함하는 통합 프레임워크를 제공하는가?
• RQ5 가우시안 적분 by parts의 기술적 복잡성을 피하면서도 엄밀성과 날카운 성질을 유지할 수 있는가?

주요 결과

• 논문은 밀도가 높은 비대칭 두 그룹 스토케스틱 블록 모델에서 점근적 상호정보량에 대한 단일 문자 변분 표현을 확립한다.
• 결과는 랭크-일치 매트릭스 분해 문제로의 매핑 없이 순수하게 SBM 프레임워크에서 도출되며, 더 투명하고 통합적인 증명을 제공한다.
• 적응형 보간법은 고전적 보간법이 단방향 부등식을 제공하는 것과 달리 날카운 상한과 하한을 모두 도출한다.
• 인접행렬 내의 베르누이 변수에 특화된 새로운 근사 적분 by parts 공식이 개발되어, 가우시안 가정 없이도 도출이 가능해졌다.
• 메시지 전파나 캐비티 방법을 사용하지 않으며, 두 번째 계단 단계 전이 가정에도 의존하지 않는다.
• 증명은 첫 번째 계단 전이(불연속적 전이)가 비대칭성으로 인해 발생할 수 있는 가장 넓은 밀도 영역에서도 유효하다.