[논문 리뷰] Reflections on Shannon Information: In search of a natural information-entropy for images

Kieran G. Larkin|arXiv (Cornell University)|2016. 09. 05.

Medical Image Segmentation Techniques참고 문헌 7인용 수 35

한 줄 요약

이 논문은 영상의 기울기 벡터장(∇)을 기반으로 샤논의 결합 엔트로피와 파풀리스의 일반화된 샘플링을 사용하여 대칭적이고 등방성이며 단순한 엔트로피 모델을 만드는 새로운 2차원 정보 엔트로피 측정법 '델엔트로피(delentropy)'를 제안한다. 이 방법은 공간적 구조와 픽셀 동시 발생을 포괄하는 계산 가능한 '델디밀리티(deldensity)' 확률 함수를 정의하여 기존 히스토그램 엔트로피와 손실 없는 압축 기준보다 영상 복잡도 평가에서 뛰어난 성능을 발휘한다.

ABSTRACT

It is not obvious how to extend Shannon's original information entropy to higher dimensions, and many different approaches have been tried. We replace the English text symbol sequence originally used to illustrate the theory by a discrete, bandlimited signal. Using Shannon's later theory of sampling we derive a new and symmetric version of the second order entropy in 1D. The new theory then naturally extends to 2D and higher dimensions, where by naturally we mean simple, symmetric, isotropic and parsimonious. Simplicity arises from the direct application of Shannon's joint entropy equalities and inequalities to the gradient (del) vector field image embodying the second order relations of the scalar image. Parsimony is guaranteed by halving of the vector data rate using Papoulis' generalized sampling expansion. The new 2D entropy measure, which we dub delentropy, is underpinned by a computable probability density function we call deldensity. The deldensity captures the underlying spatial image structure and pixel co-occurrence. It achieves this because each scalar image pixel value is nonlocally related to the entire gradient vector field. Both deldensity and delentropy are highly tractable and yield many interesting connections and useful inequalities. The new measure explicitly defines a realizable encoding algorithm and a corresponding reconstruction. Initial tests show that delentropy compares favourably with the conventional intensity-based histogram entropy and the compressed data rates of lossless image encoders (GIF, PNG, WEBP, JP2K-LS and JPG-LS) for a selection of images. The symmetric approach may have applications to higher dimensions and problems concerning image complexity measures.

연구 동기 및 목표

• 샤논 이론에 기반한 자연스럽고 대칭적이며 등방성인 2차원 영상용 정보 엔트로피 측정법의 부족을 보완하기 위해.
• 기울기(∇) 벡터장을 영상 구조의 천연 표현으로 사용하여 샤논의 2차 엔트로피를 고차원으로 확장하기 위해.
• 비국소적 픽셀 동시 발생과 공간적 의존성을 포괄하는 계산 가능한 확률 밀도 함수('델디밀리티')를 개발하기 위해.
• 새로운 엔트로피 모델에 기반한 실현 가능한 인코딩 및 복원 알고리즘을 구축하기 위해.
• 기존의 히스토그램 엔트로피와 손실 없는 영상 압축 표준(GIF, PNG, WEBP, JP2K-LS, JPG-LS)과의 비교를 통해 새로운 측정법을 평가하기 위해.

제안 방법

• 밴드리미티드 신호에 적용된 샤논의 결합 엔트로피와 샘플링 이론을 사용하여 대칭적인 1차원 2차 엔트로피를 유도한다.
• 스칼라 영상을 그 기울기 벡터장에 의해 표현되는 필드로 모델링하여 1차원 수식을 2차원으로 확장한다.
• 파풀리스의 일반화된 샘플링 전개를 적용하여 기울기 필드의 데이터 레이트를 절반으로 줄여 효율적이고 단순한 인코딩을 보장한다.
• 기울기 벡터장 위에서 계산 가능한 확률 밀도 함수로 '델디밀리티'를 정의하여 공간적 영상 구조와 동시 발생을 포착한다.
• 기울기 벡터장의 결합 엔트로피를 사용하여 '델엔트로피'를 새로운 영상 엔트로피 측정법으로 정의한다.
• 델엔트로피 모델과 델디밀리티 분포에 기반한 실현 가능한 인코딩 및 복원 파이프라인을 구성한다.

실험 결과

연구 질문

• RQ1 샤논의 정보 엔트로피는 어떻게 자연스럽게 2차원 영상으로 확장될 수 있으며, 대칭성, 등방성, 단순성의 특성을 유지할 수 있는가?
• RQ2 기울기 벡터장은 영상의 픽셀 값의 내재된 공간적 구조와 동시 발생을 어떻게 포착하는가?
• RQ3 기울기 필드에서 의미 있는 영상 구조를 반영하고 엔트로피 계산을 가능하게 하는 계산 가능한 확률 밀도 함수('델디밀리티')를 유도할 수 있는가?
• RQ4 제안된 델엔트로피 측정법은 기존의 강도 기반 히스토그램 엔트로피와 손실 없는 압축률과 비교하여 정량적으로 어떻게 성능을 발휘하는가?
• RQ5 새로운 엔트로피 모델은 실용적이고 실현 가능한 영상 인코딩 및 복원 알고리즘을 지원할 수 있는가?

주요 결과

• 델엔트로피 측정법은 대칭적이고 등방적이며 단순하며, 기울기 벡터장에 샤논의 결합 엔트로피를 직접 적용하여 유도된다.
• 델디밀리티 함수는 계산 가능하며 비국소적 공간적 의존성을 포착하여 국소적 강도 통계를 초월한 영상의 진정된 구조를 반영한다.
• 파풀리스의 일반화된 샘플링을 통해 기울기 필드의 데이터 레이트를 절반으로 줄여 효율성과 단순성을 확보한다.
• 초기 테스트 결과 델엔트로피는 다양한 테스트 영상에서 히스토그램 기반 엔트로피와 손실 없는 압축 표준(GIF, PNG, WEBP, JP2K-LS, JPG-LS)과 비교해 유리한 성능을 보였다.
• 새로운 엔트로피 모델은 실현 가능한 인코딩 및 복원 알고리즘을 지원하여 실용적 응용이 가능하다.
• 이 방법은 엔트로피, 기울기 필드, 영상 복잡도 간의 새로운 수학적 연결과 유용한 부등식을 드러낸다.