[논문 리뷰] Minimization Problems Based on a Parametric Family of Relative Entropies II: Reverse Projection.

M. Ashok Kumar, Rajesh Sundaresan|arXiv (Cornell University)|2014. 10. 09.

Statistical Mechanics and Entropy참고 문헌 33인용 수 4

한 줄 요약

이 논문은 상대적 α-엔트로피(Iα)의 매개수 가중치 가족을 소개하고, 이를 통해 쿨백-라이블러 발산을 일반화하며, 닫힌 볼록집합에서의 역 Iα-투영 최소화를 연구한다. 최소화자가 존재함을 증명하고, 역 투영의 거듭제곱 법칙 형태를 유도하며, 정보 기하학과 피타고라스 성질을 활용해 최대 레니/츠라illis 엔트로피 원리를 일반화한다.

ABSTRACT

Minimization problems with respect to a one-parameter family of generalized relative entropies are studied. These relative entropies, which we term relative α-entropies (denoted Iα), arise as redundancies under mismatched compression when cumulants of compressed lengths are considered instead of expected compressed lengths. These parametric relative entropies are a generalization of the usual relative entropy (Kullback-Leibler divergence). Just like relative entropy, these relative α-entropies behave like squared Euclidean distance and satisfy the Pythagorean property. Minimizers of these relative α-entropies on closed and convex sets are shown to exist. Such minimizations generalize the maximum Renyi or Tsallis entropy principle. The minimizing probability distribution (termed forward Iα-projection) for a linear family is shown to have a power-law. Other results in connection with statistical inference, namely subspace transitivity and iterated projections, are also established. In a companion paper, a related minimization problem of interest in robust statistics that leads to a reverse Iα-projection is studied. Index Terms Best approximant; exponential family; information geometry; Kullback-Leibler divergence; linear family; power-law family; projection; Pythagorean property; relative entropy; Renyi entropy; Tsallis entropy.

연구 동기 및 목표

• 정규화된 상대 엔트로피 최소화를 정방향 투영을 넘어서 역 Iα-투영까지 확장하여 강건한 통계적 추론을 가능하게 하기.
• 닫힘과 볼록성 조건을 만족하는 집합에서 상대적 α-엔트로피의 최소화자가 존재함을 이론적으로 확립하고, 고전적인 정보 기하학을 일반화하기.
• Iα 발산의 매개수 가중치 가족을 통해 최대 레니 및 최대 츠라illis 엔트로피 원리를 통합하고 확장하기.
• Iα-투영의 맥락에서 부분공간의 전이성과 반복 투영 성질을 조사하기.
• 역 Iα-투영의 구조를 규명하여, 이들이 거듭제곱 법칙 가족 분포를 유도함을 보여주기.

제안 방법

• 압축된 길이의 모멘트를 기반으로 상대적 α-엔트로피(Iα)의 일파라미터 가중치 가족을 일반화된 발산으로 정의한다.
• 정보 기하학을 적용하여 선형 가중치 가족과 닫힌 볼록집합에서의 Iα 최소화를 분석한다.
• Iα의 피타고라스 성질을 사용하여, 제곱 유클리드 거리와 유사한 투영의 구조적 결과를 도출한다.
• 역 Iα-투영의 형태를 유도하며, 선형 제약 조건 하에서 이가 거듭제곱 법칙 가족에 속함을 보여준다.
• Iα의 기하학적 구조를 이용하여 부분공간의 전이성과 반복 투영 수렴성을 확립한다.
• 정방향과 역방향 투영 간의 이중성을 활용하여 엔트로피 최대화 원리를 일반화한다.

실험 결과

연구 질문

• RQ1 닫힘과 볼록성 조건을 만족하는 집합에서 역 Iα-투영은 어떻게 행동하며, 최소화자가 존재하는가?
• RQ2 역 Iα-투영의 함수적 형태는 무엇이며, 거듭제양 법칙 가족과 어떤 관계가 있는가?
• RQ3 Iα 발산은 최대 레니 및 최대 츠라illis 엔트로피 원리를 어떻게 일반화하는가?
• RQ4 Iα-투영 기하학에서 피타고라스 성질의 역할은 무엇인가?
• RQ5 Iα 프레임워크 하에서 부분공간의 전이성과 반복 투영은 어떻게 행동하는가?

주요 결과

• 닫힘과 볼록성 조건을 만족하는 집합에서 상대적 α-엔트로피(Iα)의 최소화자가 존재하며, 이는 고전적 결과를 일반화된 발산으로 확장한다.
• 선형 가중치 가족으로의 역 Iα-투영은 거듭제곱 법칙 가족에 속하는 확률 분포를 유도한다.
• Iα 발산은 피타고라스 성질을 만족하여, 투영의 기하학적 분해를 가능하게 한다.
• 이 프레임워크는 최대 레니 및 최대 츠라illis 엔트로피 원리를 통합된 매개수 가중치 가족을 통해 일반화한다.
• Iα-투영에서 부분공간의 전이성이 성립하여, 중첩된 부분공간 간 일관된 행동을 보장한다.
• Iα 기반의 반복 투영은 수렴하며, 반복적 추론 및 근사 알고리즘을 지원한다.