[논문 리뷰] The use of spatial information in entropy measures

Linda Altieri, Daniela Cocchi외 1명|arXiv (Cornell University)|2017. 03. 17.

Advanced Statistical Methods and Models참고 문헌 22인용 수 12

한 줄 요약

이 논문은 이元적 분포를 사용하여 색인의 상관관계를 모델링하는 새로운 공간 엔트로피 프레임워크를 제안한다. 이는 총 엔트로피를 공간 상호정보량(위치에서 온 정보)과 공간 잔류 엔트로피(남은 이질성)로 분해하며, 거리 범주 간의 가산성을 보장하고 다중 척도에서 공간 패턴을 세밀하게 분석할 수 있도록 한다. 이는 기존의 공간 엔트로피 측정법보다 더 유연하고 해석 가능한 대안을 제공한다.

ABSTRACT

The concept of entropy, firstly introduced in information theory, rapidly became popular in many applied sciences via Shannon's formula to measure the degree of heterogeneity among observations. A rather recent research field aims at accounting for space in entropy measures, as a generalization when the spatial location of occurrences ought to be accounted for. The main limit of these developments is that all indices are computed conditional on a chosen distance. This work follows and extends the route for including spatial components in entropy measures. Starting from the probabilistic properties of Shannon's entropy for categorical variables, it investigates the characteristics of the quantities known as residual entropy and mutual information, when space is included as a second dimension. This way, the proposal of entropy measures based on univariate distributions is extended to the consideration of bivariate distributions, in a setting where the probabilistic meaning of all components is well defined. As a direct consequence, a spatial entropy measure satisfying the additivity property is obtained, as global residual entropy is a sum of partial entropies based on different distance classes. Moreover, the quantity known as mutual information measures the information brought by the inclusion of space, and also has the property of additivity. A thorough comparative study illustrates the superiority of the proposed indices.

연구 동기 및 목표

• 공간 상관관계를 적절히 반영하면서도 정보 이론의 확률적 성질과 가산성 특성을 유지하는 공간 엔트로피 측정법을 개발하는 것.
• 총 엔트로피를 공간 상호정보량(위치에서 온 정보)과 공간 잔류 엔트로피(잔여 이질성)로 분해하여 공간 효과의 해석을 더 명확히 하는 것.
• 고정된 거리 임계값에 의존하거나 인접한 영역(거리 = 1)만 고려하는 기존 공간 엔트로피 측정법의 한계를 극복하는 것.
• 근접 이웃 외에도 다중 척도에서 공간 패턴을 분석할 수 있도록 거리 범주 기반의 민첩한 프레임워크를 제공하는 것.
• 제안된 측정법이 가산성 성질을 만족하여 이질성의 계층적 분해와 전역적 통합이 가능하도록 보장하는 것.

제안 방법

• 이 방법은 거리 범주로 분류된 공간 단위의 쌍에 대해 이원분포를 정의함으로써 공간 상관관계를 모델링한다.
• 공간 잔류 엔트로피는 거리 범주 간의 가산성을 보장하기 위해 각기 다른 거리 범주에 대한 국소 엔트로피의 가중합으로 계산된다.
• 공간 상호정보량은 공간 쌍의 결합분포에서 유도되며, 공간적 위치에서 기여하는 정보를 정량화한다.
• 방향성 편향을 방지하기 위해 순서 없는 공간 단위 쌍을 사용하고, 각 거리 범주에서 엔트로피 기여도를 분해할 수 있도록 한다.
• 거리 범주는 공간적 밀도에 기반하여 정의되며, 각 거리 범주의 확률에 기반한 가중치가 사용되어 전역 엔트로피에서 상대적 중요도를 유지한다.
• 이 프레임워크는 정보 이론에 기반하여 색인 엔트로피, 잔류 엔트로피, 상호정보량의 확률적 성질을 이원 공간적 맥락에서 활용한다.

실험 결과

연구 질문

• RQ1 공간 상관관계가 엔트로피 측정법에 공식적으로 통합될 수 있는가? 이때 확률적 성질과 가산성은 유지되어야 한다.
• RQ2 공간적 위치는 범주형 변수의 총 이질성에 얼마나 기여하는가? 이를 어떻게 정량화할 수 있는가?
• RQ3 공간 상호정보량과 공간 잔류 엔트로피로 분해된 엔트로피가 단변량 공간 엔트로피 측정법보다 더 깊은 통찰을 제공할 수 있는가?
• RQ4 다양한 거리 범주는 공간 연관성에 어떻게 기여하는가? 이를 독립적이고 가산적으로 분석할 수 있는가?
• RQ5 기존의 지수들이 근접 이웃이나 고정된 인접성 구조만 고려하는 데 비해, 제안된 측정법은 공간 패턴을 더 효과적으로 탐지할 수 있는가?

주요 결과

• 제안된 공간 잔류 엔트로피는 거리 범주 간 국소 엔트로피의 합으로 구성되어 가산성 성질을 만족하며, 이질성의 계층적 분해를 가능하게 한다.
• 공간 상호정보량은 공간적 위치를 고려함으로써 얻는 정보를 정량화하며, 가산성도 보장되어 거리별로 공간 상관관계를 분석할 수 있다.
• 이 방법은 O’Neill의 엔트로피와 Leibovici의 측정법과 같은 기존 지수보다 모든 거리 범주를 분석함으로써 우수한 성능을 보인다. 특히 인접 영역(거리 = 1)만 고려하는 기존 방법에 비해 우월하다.
• 프레임워크는 거리 범주를 민첩하게 정의할 수 있으며, 정보가 적은 거리는 통합하고 정보가 많은 거리는 세밀하게 분석함으로써 해석력을 향상시킨다.
• 공간 상호정보량은 연구 변수의 범주 수에 영향을 받지 않아 다양한 데이터 구성에서도 강건하다.
• 이 방법은 공간 데이터 분석을 위한 완전한 도구상자를 제공하며, 전역 엔트로피, 상호정보량, 국소 엔트로피를 함께 사용하여 다중 척도에서 공간 행동을 이해할 수 있다.