[論文レビュー] The use of spatial information in entropy measures

Linda Altieri, Daniela Cocchi+1 more|arXiv (Cornell University)|Mar 17, 2017

Advanced Statistical Methods and Models参考文献 22被引用数 12

ひとこと要約

本稿では、空間的依存をモデル化するためのバイナリ分布を用いてシャノンのエントロピーを拡張する、画期的な空間的エントロピー枠組みを提案する。この枠組みにより、全エントロピーを空間的相互情報量（位置からの情報）と空間的残差エントロピー（残りの不均一性）に分解できる。この手法は距離階層ごとに加法的であり、複数スケールでの空間的パターンの詳細な分析を可能にし、従来の空間的エントロピー測度よりも柔軟性と解釈可能性に優れた代替手段を提供する。

ABSTRACT

The concept of entropy, firstly introduced in information theory, rapidly became popular in many applied sciences via Shannon's formula to measure the degree of heterogeneity among observations. A rather recent research field aims at accounting for space in entropy measures, as a generalization when the spatial location of occurrences ought to be accounted for. The main limit of these developments is that all indices are computed conditional on a chosen distance. This work follows and extends the route for including spatial components in entropy measures. Starting from the probabilistic properties of Shannon's entropy for categorical variables, it investigates the characteristics of the quantities known as residual entropy and mutual information, when space is included as a second dimension. This way, the proposal of entropy measures based on univariate distributions is extended to the consideration of bivariate distributions, in a setting where the probabilistic meaning of all components is well defined. As a direct consequence, a spatial entropy measure satisfying the additivity property is obtained, as global residual entropy is a sum of partial entropies based on different distance classes. Moreover, the quantity known as mutual information measures the information brought by the inclusion of space, and also has the property of additivity. A thorough comparative study illustrates the superiority of the proposed indices.

研究の動機と目的

• 空間的依存を適切に反映しつつ、情報理論の確率論的および加法的性質を保持する空間的エントロピー測度を開発すること。
• 全エントロピーを空間的相互情報量（位置からの情報）と空間的残差エントロピー（残余の不均一性）に分解し、空間的要因の解釈を明確にすること。
• 固定された距離閾値に依存するか、または隣接領域（距離 = 1）のみを考慮する従来の空間的エントロピー測度の限界を克服すること。
• 最近隣接領域に限定されず、複数スケールでの空間的パターン分析を可能にする、柔軟で距離階層に基づく枠組みを提供すること。
• 提案された測度が加法的性質を満たすように保証し、空間的不均一性の階層的分解とグローバル合成を可能にすること。

提案手法

• 本手法は、空間的単位のペアに対して距離階層ごとに分類したバイナリ分布を定義することで、空間的依存をモデル化する。
• 空間的残差エントロピーは、異なる距離階層における部分エントロピーの重み付き和として計算され、距離間で加法的であることを保証する。
• 空間的相互情報量は、空間ペアの同時分布から導出され、空間的位置が寄与する情報量を定量化する。
• 方向性バイアスを回避するため、空間単位の順序なしペアを用い、各距離範囲におけるエントロピー寄与の分解を可能にする。
• 距離階層は空間的近接性に基づき定義され、各距離階層の確率に基づいて重みが導出され、グローバルエントロピーにおける相対的重要性を保持する。
• この枠組みは情報理論に根ざしており、バイナリ空間的文脈におけるシャノンエントロピー、残差エントロピー、相互情報量の確率論的性質を活用する。

実験結果

リサーチクエスチョン

• RQ1 空間的依存をエントロピー測度に形式的に統合する方法は何か？ その際、確率論的および加法的性質を保持できるか？
• RQ2 空間的位置は、カテゴリカル変数の全体的な不均一性にどの程度寄与しているか？ その寄与度はどのように定量化できるか？
• RQ3 空間的相互情報量と空間的残差エントロピーへのエントロピー分解は、単変量空間的エントロピー測度よりも深い洞察を提供できるか？
• RQ4 異なる距離階層は空間的関連性にどの程度寄与しているか？ それぞれの寄与を独立的かつ加法的に分析できるか？
• RQ5 提案された測度は、最近隣接領域や固定された隣接構造にのみ依存する従来のインデックスよりも、空間的パターンをより効果的に検出できるか？

主な発見

• 提案された空間的残差エントロピーは、距離階層ごとの部分エントロピーの和として定義され、加法的性質を満たしており、不均一性の階層的分解を可能にする。
• 空間的相互情報量は、空間的位置を含めることで得られる情報量を定量化し、加法的であるため、距離別に空間的依存の分析が可能になる。
• 本手法は、O’NeillのエントロピーとLeiboviciの測度に比べ、隣接領域（距離 = 1）に限定されない、すべての距離範囲を分析できる点で優れている。
• 距離階層の定義が柔軟に可能であり、情報量が少ない距離は統合され、情報量が多い距離は詳細に分析可能となるため、解釈性が向上する。
• 空間的相互情報量は、研究変数のカテゴリ数に影響されないため、異なるデータ構成に対して頑健である。
• 本手法により、グローバルエントロピー、相互情報量、部分エントロピーを統合的に使用できる完全な空間データ解析ツールボックスが実現され、複数スケールでの空間的挙動の理解が可能になる。