[논문 리뷰] Shannon entropy for imprecise and under-defined or over-defined information

Vasile Pătrașcu|arXiv (Cornell University)|2017. 01. 01.

Economic and Technological Innovation인용 수 1

한 줄 요약

이 논문은 부족 정의, 과도 정의, 또는 모호한 정보 체계로의 샤논 엔트로피 확장을 위해 두 단계의 애핀 정규화 방법—이동 후 동차 변환—을 제안한다. 합이 1이 아닌 확률 단체 조건을 위반하는 벡터를 유효한 확률 분포로 변환함으로써, 일반화된 흐린 및 중립소프스틱 정보 모델(예: 직관적, 이중 흐린, 모호한 흐린 집합 포함)에서 일관된 엔트로피 계산이 가능해지며, 각 경우에 대해 닫힌 형태의 엔트로피 공식이 유도된다.

ABSTRACT

Shannon entropy was defined for probability distributions and then its using was expanded to measure the uncertainty of knowledge for systems with complete information. In this article, it is proposed to extend the using of Shannon entropy to under-defined or over-defined information systems. To be able to use Shannon entropy, the information is normalized by an affine transformation. The construction of affine transformation is done in two stages: one for homothety and another for translation. Moreover, the case of information with a certain degree of imprecision was included in this approach. Besides, the article shows the using of Shannon entropy for some particular cases such as: neutrosophic information both in the trivalent and bivalent case, bifuzzy information, intuitionistic fuzzy information, imprecise fuzzy information, and fuzzy partitions.

연구 동기 및 목표

• 표준 확률 분포를 초월하여 정보가 불완전하거나 일관되지 않거나 모호한 시스템으로 샤논 엔트로피를 확장하기 위해.
• 성분 합이 0에 가까울 경우 기존 정규화 방법(예: 작은 합으로의 나눗셈)에서 발생하는 불안정성을 해결하기 위해.
• 중립소프스틱, 직관적, 이중 흐린 집합 등을 포함한 일반화된 흐린 모델에서 불확실성 측정을 위한 통합 프레임워크를 제공하기 위해.
• 엔트로피 값이 [0,1] 범위에 유지되고 동일한 정보 표현 간의 불확실성 등가성을 유지하기 위해.
• 정의된 모호성 매개변수를 가진 흐린 분할과 모호한 흐린 집합에 대한 엔트로피 계산을 가능하게 하기 위해.

제안 방법

• 두 단계의 애핀 변환을 제안: 먼저 부족 정의 또는 모호한 벡터를 과도 정의 상태로 변환하기 위한 이동, 그 후 확률 단체로 정규화하기 위한 동차 변환.
• 원래의 벡터와 n차원 및 (n+1)차원 공간에서 확률 단체의 꼭짓점 사이의 거리 유지 조건을 사용해 이동 매개변수 ϑ를 유도.
• ϑ = (δ² + nσ²)¹ᐟ² − δ / n 공식을 사용하여, 이동된 벡터의 합이 ≥1이 되도록 보장. 여기서 δ는 정의도 지수이고 σ는 모호성 매개변수이다.
• 이동된 벡터를 정규화하기 위해 동차 변환 ˆpᵢ = pᵢ / Σpᵢ를 적용하여 유효한 확률 분포로 변환.
• 각 일반화된 모델(중립소프스틱, 직관적, 이중 흐린 등)에 대해 해당 매개변수에 정규화 변환를 적용함으로써 특별한 엔트로피 공식을 도출.
• 결과로 얻어진 정규화된 흐린 정도가 ˆμ + ˆν = 1을 만족하고 엔트로피 값이 알려진 엔트로피 원리와 일관됨을 보여 정규화 방법의 타당성을 검증.

실험 결과

연구 질문

• RQ1 성분 합이 1이 아닐 경우(부족 정의 또는 과도 정의) 샤논 엔트로피를 어떻게 의미 있게 확장할 수 있는가?
• RQ2 확률 단체 제약 조건을 위반하는 벡터를 정규화할 때 불확실성 등가성을 유지하는 변환은 무엇인가?
• RQ3 중립소프스틱 또는 흐린 집합에서와 같이 모호성 정도를 정규화 과정에 통합할 수 있는가? 이때 불확실성 측정치가 왜곡되지 않도록 하는가?
• RQ4 단일 애핀 변환 프레임워크로 다양한 흐린 및 중립소프스틱 정보 모델 간의 엔트로피 계산을 통합할 수 있는가?
• RQ5 이 정규화 방법 하에서 직관적 흐린 집합, 이중 흐린 집합, 모호한 흐린 집합의 닫힌 형태 엔트로피 표현식은 무엇인가?

주요 결과

• 제안된 애핀 정규화 방법은 이동과 동차 변환의 조합을 통해 부족 정의 및 과도 정의 정보 체계로 샤논 엔트로피를 성공적으로 확장한다.
• 스케일링 이전에 벡터를 과도 정의 상태로 먼저 이동시킴으로써 작은 분모로 인한 불안정성을 방지한다.
• 중립소프스틱 정보 체계의 경우 이진 값 케이스에서 ˆμ + ˆν = 1를 만족하는 정규화된 흐린 쌍 (ˆμ, ˆν)을 얻어 표준 엔트로피 계산이 가능해진다.
• 직관적 흐린 집합의 경우 정규화된 정도는 ˆμ = (μ + π)/(1 + π) 및 ˆν = (ν + π)/(1 + π)이며, 여기서 π = 1 − μ − ν이다.
• 모호한 흐린 집합의 경우 엔트로피 공식은 σ를 통해 h = 2σ/√2로 표현되어 잘 정의된 엔트로피 표현식을 제공한다.
• 흐린 분할의 경우 두 개의 가장 큰 소속도 값을 사용해 대표적인 흐린 쌍을 정의함으로써 일반화되어, 이중 값 엔트로피 공식을 도출할 수 있다.