[論文レビュー] Reflections on Shannon Information: In search of a natural information-entropy for images

Kieran G. Larkin|arXiv (Cornell University)|Sep 5, 2016

Medical Image Segmentation Techniques参考文献 7被引用数 35

ひとこと要約

本稿では、画像の勾配ベクトル場（del）に基づき、シャノンの結合エントロピーとパポリスの一般化されたサンプリングを用いて、対称的で等方的かつ簡潔なエントロピー・モデルを構築する、新規の2次元情報エントロピー測度「delentropy」を提案する。この手法は、空間的構造と画素の同時発生を捉える計算可能な「deldensity」確率関数を定義し、従来のヒストグラムエントロピーおよび損失なし圧縮基準と比較して、画像の複雑さ評価において優れた性能を示す。

ABSTRACT

It is not obvious how to extend Shannon's original information entropy to higher dimensions, and many different approaches have been tried. We replace the English text symbol sequence originally used to illustrate the theory by a discrete, bandlimited signal. Using Shannon's later theory of sampling we derive a new and symmetric version of the second order entropy in 1D. The new theory then naturally extends to 2D and higher dimensions, where by naturally we mean simple, symmetric, isotropic and parsimonious. Simplicity arises from the direct application of Shannon's joint entropy equalities and inequalities to the gradient (del) vector field image embodying the second order relations of the scalar image. Parsimony is guaranteed by halving of the vector data rate using Papoulis' generalized sampling expansion. The new 2D entropy measure, which we dub delentropy, is underpinned by a computable probability density function we call deldensity. The deldensity captures the underlying spatial image structure and pixel co-occurrence. It achieves this because each scalar image pixel value is nonlocally related to the entire gradient vector field. Both deldensity and delentropy are highly tractable and yield many interesting connections and useful inequalities. The new measure explicitly defines a realizable encoding algorithm and a corresponding reconstruction. Initial tests show that delentropy compares favourably with the conventional intensity-based histogram entropy and the compressed data rates of lossless image encoders (GIF, PNG, WEBP, JP2K-LS and JPG-LS) for a selection of images. The symmetric approach may have applications to higher dimensions and problems concerning image complexity measures.

研究の動機と目的

• シャノン理論に基づく、自然で、対称的かつ等方的な2次元画像用情報エントロピー測度が欠如しているという問題に取り組む。
• 勾配（del）ベクトル場を画像構造の自然な表現として用い、シャノンの2次エントロピーを高次元に拡張する。
• 非局所的な画素同時発生と空間的依存関係を捉える計算可能な確率密度関数（「deldensity」）を開発する。
• 新しいエントロピー・モデルに基づいた実現可能な符号化および再構成アルゴリズムを構築する。
• 従来のヒストグラムエントロピーおよび損失なし画像圧縮基準（GIF、PNG、WEBP、JP2K-LS、JPG-LS）と比較して、新しい測度を評価する。

提案手法

• バンドリミット信号に適用されたシャノンの結合エントロピーとサンプリング理論を用いて、対称的な1次元2次エントロピーを導出する。
• スカラー画像をその勾配ベクトル場に符号化された構造を持つ場としてモデル化し、1次元の定式化を2次元に拡張する。
• パポリスの一般化されたサンプリング展開を適用して、勾配場のデータレートを半分にし、簡潔性と効率的な符号化を確保する。
• 勾配ベクトル場上の計算可能な確率密度関数として「deldensity」を定義し、空間的画像構造と同時発生を捉える。
• 勾配ベクトル場の結合エントロピーを用いて、「delentropy」を新しい画像エントロピー測度として定義する。
• delentropyモデルとdeldensity分布に基づいた、実現可能な符号化および再構成パイプラインを構築する。

実験結果

リサーチクエスチョン

• RQ1 シャノンの情報エントロピーを、対称性、等方性、簡潔性を保持したまま、自然に2次元画像に拡張することは可能か？
• RQ2 勾配ベクトル場は、画像内の画素値の内在的空間的構造と同時発生をどのように捉えているか？
• RQ3 勾配場から、意味のある画像構造を反映し、エントロピー計算を可能にする計算可能な確率密度関数（「deldensity」）を導出できるか？
• RQ4 提案されたdelentropy測度は、従来の強度ベースのヒストグラムエントロピーおよび損失なし圧縮レートと比較して、定量的にどのように評価されるか？
• RQ5 新しいエントロピー・モデルは、実用的で実現可能な符号化および再構成アルゴリズムをサポートできるか？

主な発見

• delentropy測度は、勾配ベクトル場にシャノンの結合エントロピーを直接適用することで得られ、対称的で等方的かつ簡潔である。
• deldensity関数は計算可能であり、局所的な強度統計を越えて、画像の真の構造を反映する非局所的な空間的依存関係を捉えている。
• パポリスの一般化されたサンプリングを用いることで、勾配場のデータレートを半分に削減し、効率性と簡潔性を確保している。
• 初期のテストでは、delentropyがヒストグラムベースのエントロピーおよび損失なし圧縮基準（GIF、PNG、WEBP、JP2K-LS、JPG-LS）に対して、さまざまなテスト画像で優れた性能を示している。
• 新しいエントロピー・モデルは、実現可能な符号化および再構成アルゴリズムをサポートしており、実用的応用が可能である。
• 本手法は、エントロピー、勾配場、画像複雑さの間の新しい数学的関係および有用な不等式を明らかにしている。