[論文レビュー] Similarity-Sensitive Entropy: Induced Kernels and Data-Processing Inequalities

Joseph Samuel Miller|arXiv (Cornell University)|Jan 6, 2026

Statistical Mechanics and Entropy被引用数 0

ひとこと要約

この論文は、カーネル化された確率空間における類似性感度のエントロピー H_K を定義・分析し、法誘導型インデュースド・カーネルを介したデータ処理不等式を確立し、一般的な（分割でない）カーネル下での条件付き・相互情報の類推を探る。

ABSTRACT

We study an entropy functional $H_K$ that is sensitive to a prescribed similarity structure on a state space. For finite spaces, $H_K$ coincides with the order-1 similarity-sensitive entropy of Leinster and Cobbold. We work in the general measure-theoretic setting of kernelled probability spaces $(Ω,μ,K)$ introduced by Leinster and Roff, and develop basic structural properties of $H_K$. Our main results concern the behavior of $H_K$ under coarse-graining. For a measurable map $f:Ω\to Y$ and input law $μ$, we define a law-induced kernel on $Y$ whose pullback minimally dominates $K$, and show that it yields a coarse-graining inequality and a data-processing inequality for $H_K$, for both deterministic maps and general Markov kernels. We also introduce conditional similarity-sensitive entropy and an associated mutual information, and compare their behavior to the classical Shannon case.

研究の動機と目的

• 状態空間上の規定された類似性構造を尊重するエントロピー汎関数 H_K を動機づけ、形式化する。
• H_K を保持するカーネル化確率空間と一様表現の測度論的枠組みを開発する。
• 測度可能写像および粗視化の下で H_K の挙動を特徴づけ、この設定でデータ処理不等式を確立する。
• H_K 架構内で X 中心の条件付きエントロピーと相互情報量を導入する。
• 分割（ブロック対角）カーネルと一般的なファジーカーネルを区別し、それらに関連する不等式と不変量を検討する。

提案手法

• 離散 X に対して類似性行列 K を用い、H_K(p) = - sum_x p_x log((Kp)_x) を定義する。
• 典型性関数 τ(ω) = ∫ K(ω, ω′) dμ(ω′) を用いてカーネル化確率空間 (Ω, μ, K) に拡張し、H_K(μ) = - ∫ log τ(ω) dμ(ω) を定義する。
• H_K を保存する一様表現を示し、典型性の正性に緩やかな条件の下、有限一様分布のエントロピーの極限として H_K が現れることを証明する。
• ファイバーごとの本質上界を用いて法誘導カーネル K^{Y,μ} を構成し、元へ再合成 K^{f,μ} を構築してデータ処理不等式 H_K(μ) ≥ H_{K^{f,μ}}(μ) = H_{K^{Y,μ}}(f_#μ) を導く。
• 決定論的 DPI をマルコフ核へ拡張するリ lifting 論証を提供し、誘導カーネルの最小性性質を証明する。
• X 中心の条件付きエントロピー H_K(X|Y) および相互情報 I_K(X;Y) を定義し、分割カーネルと非分割カーネルでの挙動を分析する。

実験結果

リサーチクエスチョン

• RQ1 状態空間の規定された類似性構造に敏感なエントロピー汎関数をどのように定義・表現するか。
• RQ2 測度可能写像と粗視化の下で類似性感度エントロピーはどのように振る舞い、データ処理不等式をこの設定で確立できるか。
• RQ3 H_K フレームワークにおける条件付きおよび相互情報の類推は何で、ファジーなカーネルに対するシャノン理論とどう異なるか。
• RQ4 典型性分布を用いて分割カーネルと真のファジーカーネルを区別できるか、どのような不変量が現れるか。
• RQ5 表現学習と実験設計における類似性感度情報量のタスク駆動的応用の可能性は何か。

主な発見

• H_K(μ) はカーネル化された確率空間上で良く定義され、([0,1], λ) 上で価値を保持する一様表現として表現可能である。
• 測度可能写像 f が与えられたとき、ターゲット上には法誘導カーネル K^{Y,μ} が、ソース上には back-composed カーネル K^{f,μ} が存在し、データ処理不等式 H_K(μ) ≥ H_{K^{f,μ}}(μ) = H_{K^{Y,μ}}(f_#μ) を得る。
• 決定論的写像の場合、ファイバーごとに最大値を取る構成により、すべての入力に対して DPI を満たす点wise 最小の標準的誘導カーネルが得られる。
• 一般のファジーカーネルに対しては H_K(X|Y) が必ずしも H_K(X) 以上にはならず、有限の反例が示される。これに対して partition-kernel（ブロック対角）の場合では通常の条件付き不等式が成立する。
• 典型性 τ(ω) の分布は同型写像不変量として機能し、真のファジーカーネルと partition カーネルを区別する。
• この枠組みはタスク相対的な類似性感度情報利得を可能にし、表現学習および最適な実験設計への応用を示唆する。