[論文レビュー] Weighted Gaussian entropy and determinant inequalities

Yuri Suhov, Salimeh Yasaei Sekeh+1 more|arXiv (Cornell University)|May 7, 2015

Statistical Mechanics and Entropy参考文献 11被引用数 7

ひとこと要約

本稿では、情報理論的原則を用いて正定値行列に対する新しい行列式不等式を導出するための一般化として、重み付きガウスエントロピーを導入する。重み関数を正の関数として用いることで、キ・ファン型の凹性とエントロピー最大化を重み付き設定に拡張し、重み付き行列式不等式を確立する。重み関数が定数である場合には、古典的な結果に還元される。

ABSTRACT

We produce a series of results extending information-theoretical inequalities (discussed by Dembo--Cover--Thomas in 1989-1991) to a weighted version of entropy. The resulting inequalities involve the Gaussian weighted entropy; they imply a number of new relations for determinants of positive-definite matrices.

研究の動機と目的

• 非定数の重み関数を用いた枠組みに、キ・ファンの不等式を含む古典的行列式不等式を一般化すること。
• 重み付きエントロピーに基づく新しい情報理論的アプローチにより、既存の行列式不等式を統一的かつ一般化すること。
• 重み付きガウスエントロピーと行列式に関する新しい不等式を確立し、共分散行列への応用を示すこと。
• 重み関数が定数である場合、標準的な行列式不等式が特殊ケースとして得られることを示すこと。
• 分散制約下での重み付きエントロピーの最大化性を活用して、重み付き行列式の境界を系統的に導出する方法を提供すること。

提案手法

• 正規分布 $ f_{\bf C} $ における期待値 $ -\phi(\mathbf{x}) \log f_{\bf C}(\mathbf{x}) $ として、重み付きガウスエントロピー $ h^{ m w}_{\rho}(f_{\bf C}) $ を定義する。ここで $ \phi $ は正の重み関数である。
• 重み付きエントロピー関数として、$ \sigma_{\phi}(\mathbf{C}) = \frac{\alpha_{\phi}(\mathbf{C})}{2} \log[(2\pi)^d \det \mathbf{C}] + \frac{\log e}{2} \operatorname{tr}(\mathbf{C}^{-1} \boldsymbol{\Phi}_{\mathbf{C},\phi}) $ を導入する。ここで $ \alpha_{\phi}(\mathbf{C}) = \mathbb{E}[\phi(\mathbf{X})] $ および $ \boldsymbol{\Phi}_{\mathbf{C},\phi} = \mathbb{E}[\phi(\mathbf{X}) \mathbf{X} \mathbf{X}^T] $ である。
• 重み付きキ・ファン不等式を証明する：$ \sigma_{\phi}(\lambda_1 \mathbf{C}_1 + \lambda_2 \mathbf{C}_2) \geq \lambda_1 \sigma_{\phi}(\mathbf{C}_1) + \lambda_2 \sigma_{\phi}(\mathbf{C}_2) $。等号成立は $ \lambda_1 \lambda_2 = 0 $ のときに限る。重み関数に凸性条件を課す。
• 条件付き重み付きエントロピーと独立性仮定を用いて、独立なガウス分布の和に対する部分加法性を導出する。
• 多変量正規分布における重み付きエントロピーの連鎖則を確立し、$ \sigma_{\phi}(\mathbf{C}) $ を条件付き成分に分解する。
• 重み付きエントロピーと対角成分および主小行列式の行列式との関係を示す重要な不等式（定理6.6）を導出する：$ \alpha(\mathbf{C}) \log \det \mathbf{C} - \log e \cdot \operatorname{tr}(\mathbf{C}^{-1} \boldsymbol{\Phi}) \leq \alpha(\mathbf{C}) \log \prod_i C_{ii} + \log e \sum_i C_{ii}^{-1} \Phi_{ii} $。

実験結果

リサーチクエスチョン

• RQ1 非定数の重み関数を用いた重み付きエントロピー枠組みにおいて、キ・ファンの不等式のような古典的行列式不等式を一般化できるか？
• RQ2 重み付きエントロピー関数 $ \sigma_{\phi}(\mathbf{C}) $ が共分散行列 $ \mathbf{C} $ に関して凹性を示すために、重み関数に必要な条件は何か？
• RQ3 行列の凸結合や条件付き独立構造の下で、重み付きエントロピーと行列式不等式はどのように振る舞うか？
• RQ4 多変量ガウス分布の重み付きエントロピーとその周辺分布および条件付き分布との関係は何か？
• RQ5 モーメント制約下での重み付きエントロピーの最大化性を活用して、新しい行列式の境界を導出できるか？

主な発見

• 本稿では、重み付きキ・ファン不等式を確立する：$ \sigma_{\phi}(\lambda_1 \mathbf{C}_1 + \lambda_2 \mathbf{C}_2) \geq \lambda_1 \sigma_{\phi}(\mathbf{C}_1) + \lambda_2 \sigma_{\phi}(\mathbf{C}_2) $。等号成立は $ \lambda_1 \lambda_2 = 0 $ のときに限る。重み関数に凸性条件を課す。
• 重み関数 $ \phi \equiv 1 $ の場合、重み付きエントロピーは標準的微分エントロピーに還元され、不等式は古典的キ・ファン行列式不等式に一致する。
• 定理6.6として、新しい不等式を導出する：$ \alpha(\mathbf{C}) \log \det \mathbf{C} - \log e \cdot \operatorname{tr}(\mathbf{C}^{-1} \boldsymbol{\Phi}) \leq \alpha(\mathbf{C}) \log \prod_i C_{ii} + \log e \sum_i C_{ii}^{-1} \Phi_{ii} $。この不等式は、行列式と対角成分との関係を示す。
• 独立なガウスベクトルに対する重み付きエントロピーの部分加法性を証明する：$ \varpi_{\psi}(\mathbf{A} + \mathbf{B}) \geq \varpi_{\chi}(\mathbf{A}) + \varpi_{\gamma}(\mathbf{B}) $。ここで $ \varpi $ は条件付き重み付きエントロピーを表す。
• 適切な $ \phi $ の条件下で、重み付きエントロピー関数 $ \sigma_{\phi}(\mathbf{C}) $ が $ \mathbf{C} $ に関して凹であることを示し、$ \log \det \mathbf{C} $ の標準的凹性を一般化する。
• 本フレームワークにより、既知の結果を重み付きエントロピーの観点から再解釈することで、新しい行列式不等式を導出可能であり、統一的な情報理論的基盤を提供する。