[논문 리뷰] Relative $\alpha$-Entropy Minimizers Subject to Linear Statistical Constraints

M. Ashok Kumar, Rajesh Sundaresan|arXiv (Cornell University)|2014. 10. 18.

Statistical Mechanics and Entropy참고 문헌 6인용 수 4

한 줄 요약

이 논문은 선형 통계적 제약 조건 하에서 상대 α-엔트로피 최소화를 도입하고 분석하며, 고전적인 I-프로젝션(Kullback-Leibler 발산)을 매개수 가중치 가족 Iα(P, Q)로 일반화한다. 이는 Iα-프로젝션을 선형 가족에 적용할 경우 거듭제곱 법칙 분포가 도출됨을 증명하며, α=1일 때의 지수 가족 해를 일반화하고, 피타고라스 부등식과 유일성과 같은 핵심 성질을 확립한다.

ABSTRACT

We study minimization of a parametric family of relative entropies, termed relative $\alpha$-entropies (denoted $\mathscr{I}_{\alpha}(P,Q)$). These arise as redundancies under mismatched compression when cumulants of compressed lengths are considered instead of expected compressed lengths. These parametric relative entropies are a generalization of the usual relative entropy (Kullback-Leibler divergence). Just like relative entropy, these relative $\alpha$-entropies behave like squared Euclidean distance and satisfy the Pythagorean property. Minimization of $\mathscr{I}_{\alpha}(P,Q)$ over the first argument on a set of probability distributions that constitutes a linear family is studied. Such a minimization generalizes the maximum R\'{e}nyi or Tsallis entropy principle. The minimizing probability distribution (termed $\mathscr{I}_{\alpha}$-projection) for a linear family is shown to have a power-law.

연구 동기 및 목표

• 고전적인 I-프로젝션(Kullback-Leibler 발산)을 매개수 가중치 가족 Iα(P, Q)로 일반화하기.
• 선형 통계적 제약 조건 하에서 첫 번째 인수에 대해 Iα(P, Q)의 최소화를 분석하기.
• 확률 분포의 선형 가족에 대한 Iα-프로젝션의 구조를 특성화하기.
• Iα-프로젝션에 대한 기초 성질, 예를 들어 피타고라스 부등식과 유일성 등을 확립하기.
• 최소화자와 거듭제곱 법칙 분포 사이의 연결 고리 파악하기. 이는 α=1일 때 지수 가족과 유사하다.

제안 방법

• 불일치 압축에서 누적량 기반 잉여를 통해 정의된 상대 엔트로피의 매개수 일반화인 Iα(P, Q)를 제안한다.
• 선형 등식 제약 조건 하에서 Iα-프로젝션의 최적성 조건을 도출하기 위해 라그랑주 승수법을 사용한다.
• Iα-프로젝션의 닫힌 형식 표현을 유도한다: P∗(x) ∝ [Q(x)α−1 + (1−α)∑θi∗fi(x)]1/(α−1)+.
• 피타고라스 부등식을 확립한다: 모든 P ∈ L에 대해 Iα(P, Q) ≥ Iα(P, P∗) + Iα(P∗, Q).
• Iα(·, Q)의 볼록성과 연속성에 기반해 Iα-프로젝션의 유일성을 증명한다.
• 지지 조건을 분석하며, Supp(P∗) = Supp(L)일 때 피타고라스 부등식에서 등호가 성립함을 보인다.

실험 결과

연구 질문

• RQ1 α > 1일 때, 선형 분포 가족에 대해 Iα(P, Q)의 최소화자의 구조는 어떻게 되는가?
• RQ2 Iα-프로젝션은 고전적인 I-프로젝션(α=1)과 최대 엔트로피 원리와 어떻게 일반화되는가?
• RQ3 상대 α-엔트로피에 대해 피타고라스 성질이 성립하는가? 등호는 어떤 조건에서 성립하는가?
• RQ4 누적량 매개수 ρ는 Iα가 발산 측도로 나타나는 데 어떤 역할을 하는가?
• RQ5 최소화자의 지지 집합은 제약 조건 집합과 기준 측도 Q의 지지 집합과 어떻게 관련이 있는가?

주요 결과

• 선형 가족 L에 대한 Q의 Iα-프로젝션은 유일하며, α > 1일 때 P∗(x) = Z−1 [Q(x)α−1 + (1−α)∑θi∗fi(x)]1/(α−1)+ 로 주어진다.
• 최소화자는 α-거듭제곱 법칙 가족에 속하며, α=1일 때의 지수 가족 해를 일반화한다.
• 모든 P ∈ L에 대해 피타고라스 부등식 Iα(P, Q) ≥ Iα(P, P∗) + Iα(P∗, Q)가 성립하며, 등호는 Supp(P∗) = Supp(L)일 때 성립한다.
• 최소화자는 라그랑지안 최적화에서 유도된 카루시-쿤-터커 조건을 만족하며, 활성 제약 조건은 P∗의 지지 집합과 관련이 있다.
• α > 1일 때, Iα(P, Q)는 Supp(P) ⊆ Supp(Q)일 경우에만 유한하며, 그 외에는 발산한다.
• limα→1 Iα(P, Q) = I(P∥Q)의 극한은 Iα가 Kullback-Leibler 발산을 일반화함을 확인한다.