[논문 리뷰] Maximizing Multi-Information

Nihat Ay, Andreas Knauf|arXiv (Cornell University)|2007. 02. 01.

Computability, Logic, AI Algorithms인용 수 36

한 줄 요약

이 논문은 확률 분포에서의 확률적 상호의존도를 측정하는 다중정보의 최대화를 분석함으로써 전역 최대화자(global maximizers)의 구조를 조사한다. 다중정보의 전역 최대화자가 포함된다는 것을 증명하며, 순수 쌍상호작용의 지수가우스족(exponential family)이 그 폐쇄(closure)에 전역 최대화자를 모두 포함함을 보이며, 볼츠만 기계와 신경망과 같은 모델에 기하학적이고 정보이론적인 기초를 제공한다.

ABSTRACT

Stochastic interdependence of a probablility distribution on a product space is measured by its Kullback-Leibler distance from the exponential family of product distributions (called multi-information). Here we investigate low-dimensional exponential families that contain the maximizers of stochastic interdependence in their closure. Based on a detailed description of the structure of probablility distributions with globally maximal multi-information we obtain our main result: The exponential family of pure pair-interactions contains all global maximizers of the multi-information in its closure.

연구 동기 및 목표

• 다중정보를 전역적으로 최대화하는 확률 분포의 기하학적 구조를 이해하기 위해.
• 저차원 지수가우스족이 확률적 상호의존도의 전역 최대화자를 모두 포괄할 수 있는지 판단하기 위해.
• 신경망과 볼츠만 기계에서의 인포맥스 원리(Infomax principle)에 대한 이론적 기초를 마련하기 위해.
• 제품 분포로부터의 쿨백-라이블러 발산(Kullback-Leibler divergence) 최대화자와 관련된 지수가우스족의 폐쇄 성질을 분석하기 위해.

제안 방법

• 상호의존도를 제품 분포에서의 거리로 측정하기 위해 쿨백-라이블러 발산(relative entropy)을 사용한다.
• 정보기하학을 적용하여 다중정보의 전역 최대화자를 포함하는 지수가우스족의 폐쇄를 연구한다.
• 임의의 전역 최대화자로 수렴하는 순수 쌍상호작용 지수가우스족 내의 분포 수열을 구성한다.
• 상호작용 잠재력의 선형부분공간에 함수를 수직투영(projection)하여 수렴하는 수열을 생성한다.
• 특정 상호작용 구조를 가진 분포를 모델링하기 위해 애핀 부분공간에 의해 유도된 길버트 측도(Gibbs measures)와 지수가우스족을 사용한다.
• 매개변수화된 잠재력이 최대화자 분포로 수렴하는 방식을 분석함으로써 지지구조(support structure)와 수렴 행동을 연구한다.

실험 결과

연구 질문

• RQ1 다중정보의 전역 최대화자는 저차원 지수가우스족에 의해 근사될 수 있는가?
• RQ2 최대 확률적 상호의존도를 달성하는 데 있어 순수 쌍상호작용의 구조적 역할은 무엇인가?
• RQ3 최대화자들의 지지집합(supports)은 지수가우스족의 폐쇄 성질과 어떻게 관련되는가?
• RQ4 순수 쌍상호작용 지수가우스족은 다중정보의 전역 최대화자를 폐쇄에 모두 포함하는가?
• RQ5 신경망 모델의 맥락에서 이러한 가우스족의 폐쇄의 기하학적 및 정보이론적 의미는 무엇인가?

주요 결과

• 순수 쌍상호작용 지수가우스족은 다중정보의 전역 최대화자를 폐쇄에 모두 포함한다.
• 임의의 전역 최대화자 $ p $에 대해, 순수 쌍상호작용 지수가우스족 내에서 $ p $로 수렴하는 수열이 존재한다.
• 최대화자가 가우스족에 엄밀히 포함되지 않더라도(예: $ \frac{1}{2}(\delta_{(0,0)} + \delta_{(1,1)}) $와 같은 결정론적 분포), 순수 쌍상호작용 가우스족의 폐쇄에는 최대화자가 포함된다.
• 매개변수화된 잠재력 $ E^{(m)} = -\beta_m(\sum a_i \phi_i - b)^2 $을 통해 수렴이 달성되며, $ \beta_m \uparrow \infty $이므로 최대화자 지지집합으로의 점점 강화된 집중이 보장된다.
• 순수 쌍상호작용 가우스족의 차원은 $ (n_N - 1) \sum_{i=1}^{N-1} (n_i - 1) $이며, 이러한 상호작용에 대한 기대 자유도와 일치한다.
• 이 구성은 쌍상호작용 잠재력 부분공간에 함수를 수직투영함에 기반하며, 이에 따라 해당 길버트 측도가 목표 최대화자로 수렴함을 보장한다.