[논문 리뷰] Similarity-Sensitive Entropy: Induced Kernels and Data-Processing Inequalities

Joseph Samuel Miller|arXiv (Cornell University)|2026. 01. 06.

Statistical Mechanics and Entropy인용 수 0

한 줄 요약

이 논문은 커널화된 확률 공간에서 유사성에 민감한 엔트로피 H_K를 정의하고 분석하며, 법에 의해 유도된 커널을 통해 데이터 처리 불평등을 확립하고, 일반(부분 분할이 아닌) 커널 하에서 조건부 및 상호정보 유사체를 탐구한다.

ABSTRACT

We study an entropy functional $H_K$ that is sensitive to a prescribed similarity structure on a state space. For finite spaces, $H_K$ coincides with the order-1 similarity-sensitive entropy of Leinster and Cobbold. We work in the general measure-theoretic setting of kernelled probability spaces $(Ω,μ,K)$ introduced by Leinster and Roff, and develop basic structural properties of $H_K$. Our main results concern the behavior of $H_K$ under coarse-graining. For a measurable map $f:Ω o Y$ and input law $μ$, we define a law-induced kernel on $Y$ whose pullback minimally dominates $K$, and show that it yields a coarse-graining inequality and a data-processing inequality for $H_K$, for both deterministic maps and general Markov kernels. We also introduce conditional similarity-sensitive entropy and an associated mutual information, and compare their behavior to the classical Shannon case.

연구 동기 및 목표

• 상태 공간에 지시된 유사성 구조를 존중하는 엔트로피 함수 H_K를 동기 부여하고 형식화한다.
• 커널화된 확률 공간 및 H_K를 보존하는 균일한 표현을 위한 측도적 프레임워크를 개발한다.
• 측정 가능한 사상 및 거칠게 하기에서 H_K가 어떻게 작용하는지 특성화하고, 이 설정에서 데이터 처리 불평등을 확립한다.
• H_K 프레임워크 내에서 X-중심의 조건부 엔트로피와 상호 정보량을 도입한다.
• 분할(블록 대각) 커널과 일반 퍼지 커널을 구분하고 관련 부등식과 불변량을 연구한다.

제안 방법

• 이산 X에 대해 유사성 행렬 K를 갖는 경우 H_K(p) = - sum_x p_x log((Kp)_x)을 정의한다.
• 전형성 함수 τ(ω) = ∫ K(ω, ω′) dμ(ω′)를 사용하여 커널화된 확률 공간 (Ω, μ, K)으로 확장하고 H_K(μ) = - ∫ log τ(ω) dμ(ω)로 정의한다.
• H_K를 보존하는 균일한 표현을 보이고, 전형성의 일반적인 양의 성질 하에서 유한한 균일 분포의 엔트로피의 극한으로 H_K가 도출됨을 증명한다.
• 섬유별 본질적 상한에 의해 법에 의해 유도된 커널 K^{Y,μ}를 구성하고, 소스에 역합성 K^{f,μ}를 통해 데이터 처리 불평등 H_K(μ) ≥ H_{K^{f,μ}}(μ) = H_{K^{Y,μ}}(f_#μ)를 확립한다.
• 결정론적 DPI를 확장하기 위한 상승(lifting) 논리를 제공하고, 유도 커널의 최소성 성질을 증명한다.
• X-중심 조건부 엔트로피 H_K(X|Y)와 상호정보 I_K(X;Y)를 정의하고, 분할 대 분해 커널과 일반 커널에서의 동작을 분석한다.

실험 결과

연구 질문

• RQ1 상태 공간에 지시된 유사성 구조를 존중하는 엔트로피 함수를 어떻게 정의하고 표현할 수 있는가?
• RQ2 유사성에 민감한 엔트로피가 측정 가능한 사상 및 거칠게 하기에서 어떻게 작용하며, 이 설정에서 데이터 처리 불평등을 확립할 수 있는가?
• RQ3 H_K 프레임워크에서 조건부 및 상호 정보에 해당하는 것은 무엇이며, 퍼지 커널에 대한 샤넌 이론과 어떻게 다른가?
• RQ4 전형성 분포를 사용해 분할 커널과 진정으로 퍼지 커널을 구분할 수 있는가, 어떤 불변량이 나타나는가?
• RQ5 표현 학습 및 실험 설계에의 유사성-민감 정보 측정의 잠재적 과제 주도형 응용은 무엇인가?

주요 결과

• H_K(μ)은 커널화된 확률 공간에서 잘 정의되며 값을 보존하면서 ([0,1], λ)에서 균일하게 표현될 수 있다.
• 가측 사상 f가 주어지면 대상에 대한 법에 의해 유도된 커널 K^{Y,μ}와 원천에서의 역합성 커널 K^{f,μ}가 존재하여 데이터 처리 불평등 H_K(μ) ≥ H_{K^{f,μ}}(μ) = H_{K^{Y,μ}}(f_#μ) 를 얻는다.
• 결정론적 사상에 대해 Fiberwise-max 구성은 모든 입력에 대해 DPI를 만족하는 점별 최소인 표준 유도 커널을 산출한다.
• 일반 퍼지 커널의 경우 H_K(X|Y) ≤ H_K(X)를 반드시 만족하지 않으며, 이와 달리 분할-커널(블록 대각) 경우에는 일반적인 조건부 부등식이 성립한다는 반례가 있다.
• 전형성 τ(ω) 분포는 동형사 invariant 역할을 하여 진정한 퍼지 커널과 분할 커널을 구분한다.
• 프레임워크는 작업 관련 유사성-민감 정보 증대와 표현 학습 및 최적 실험 설계에의 응용 가능성을 시사한다.