[論文レビュー] Streaming an image through the eye: The retina seen as a dithered scalable image coder

Khaled Masmoudi, Marc Antonini+1 more|arXiv (Cornell University)|Feb 10, 2012

CCD and CMOS Imaging Sensors参考文献 40被引用数 13

ひとこと要約

本論文では、哺乳類の網様体を模倣した生体由来でスケーラブルな画像符号化方式を提案する。2段階の決定的プロセスを用いる：まず、外側網様体層を模倣する時間遅延付き差分ガウス関数変換（DoG）を実行し、次に内側網様体層で動的アナログ-デジタル変換を実施してスパイク符号化を行う。主な革新点は、網様体のノイズを多スケールのジタリングとしてモデル化し、再構成誤差をホワイト化し、入力から相関を除去することで、復号時に画像の詳細の認識が高速化されることを実現している。

ABSTRACT

We propose the design of an original scalable image coder/decoder that is inspired from the mammalians retina. Our coder accounts for the time-dependent and also nondeterministic behavior of the actual retina. The present work brings two main contributions: As a first step, (i) we design a deterministic image coder mimicking most of the retinal processing stages and then (ii) we introduce a retinal noise in the coding process, that we model here as a dither signal, to gain interesting perceptual features. Regarding our first contribution, our main source of inspiration will be the biologically plausible model of the retina called Virtual Retina. The main novelty of this coder is to show that the time-dependent behavior of the retina cells could ensure, in an implicit way, scalability and bit allocation. Regarding our second contribution, we reconsider the inner layers of the retina. We emit a possible interpretation for the non-determinism observed by neurophysiologists in their output. For this sake, we model the retinal noise that occurs in these layers by a dither signal. The dithering process that we propose adds several interesting features to our image coder. The dither noise whitens the reconstruction error and decorrelates it from the input stimuli. Furthermore, integrating the dither noise in our coder allows a faster recognition of the fine details of the image during the decoding process. Our present paper goal is twofold. First, we aim at mimicking as closely as possible the retina for the design of a novel image coder while keeping encouraging performances. Second, we bring a new insight concerning the non-deterministic behavior of the retina.

研究の動機と目的

• スケーラブルな画像圧縮を実現するため、網様体の処理段階を模倣した決定的で生体由来の画像符号化方式の設計。
• 計算的に扱いやすく逆写像可能な符号化フレームワークにおいて、網様体の時間依存的かつ非決定的挙動を再現する課題への対処。
• 従来は不具合と見なされてきた網様体のノイズが、知覚的画像処理において機能的役割を果たす可能性を検証すること。
• 符号化プロセスにおけるジタリングが、特に画像の詳細や特異点の早期認識に、知覚的再構成品質を向上させるかどうかを評価すること。
• 神経的ノイズと視覚的符号化における知覚的効率との間の生物学的に妥当な関連を確立し、網様体がレート-歪み最適化を超えてタスクパフォーマンス最適化を図っている可能性を示唆すること。

提案手法

• 仮想網様体モデルを適応し、外側網様体層で時間遅延付き差分ガウス関数フィルタ（DoG）による画像変換を実施する2段階の決定的画像符号化方式を構築。
• 内側網様体層で時間変動する閾値によるアナログ-デジタル変換を実装し、スパイクベースの符号を生成。
• 網様体のノイズをモデル化するための多スケールジタリング信号を導入し、内側網様体層を非減算型ジタリング付きA/Dコンバータとして扱う。
• ジタリング信号をゴンギア細胞層の入力に適用し、観察された網様体の可変性と一致する統計的性質に調整。
• スパイクベースの符号を時間的統合と逆フィルタリングを用いて逆写像する復号パスを採用し、符号化プロセスの可逆性を活用。
• スケーラビリティの制御パラメータとして観測時間（tobs）を用い、観測時間が長いほど再構成品質が向上することを確認。

実験結果

リサーチクエスチョン

• RQ1 時間依存的ダイナミクスを含む網様体処理の機能的段階を忠実に再現できる決定的画像符号化方式を設計できるか？
• RQ2 内側網様体層にジタリング信号を統合した場合、再構成画像の知覚的品質と誤差特性にどのような影響を与えるか？
• RQ3 ジタリングにより再構成誤差が増加するにもかかわらず、符号化プロセスが復号時の画像の詳細および特異点の早期認識を向上させるか？
• RQ4 ジタリングプロセスが再構成誤差を入力スティミュラスから相関除去し、誤差スペクトルをホワイト化する程度はどの程度か？
• RQ5 網様体出力の非決定的挙動は、ノイズとして説明されるより、知覚的最適化のための機能的ジタリング機構として説明されるほうが適切か？

主な発見

• ジタリング付き符号化方式は、細部認識の知覚的加速を達成した：バーブンの画像において、顔や毛並みの微細な特徴が44 msの観測時間で明確に識別可能であるのに対し、ノイズなし再構成ではぼやけたままだった。
• ジタリングプロセスにより再構成誤差がホワイト化され、入力スティミュラスから相関が除去され、知覚的アーティファクトを低減する上で重要な特徴が実現された。
• ジタリングありの場合、平均二乗誤差（MSE）が高くなるにもかかわらず、知覚的品質が優れていることから、網様体の最適化基準がレート-歪み最適化そのものではないことが示唆された。
• 再構成の最適観測時間は44 msと特定され、知覚的品質がピークに達した。これは、時間によるスケーラビリティが実証されたことを示している。
• 本モデルはスパイクベースの符号を元に戻して元の画像を再構成でき、決定的およびジタリングありの両条件で符号化方式の可逆性が確認された。
• 結果は、網様体のノイズが単なる副産物ではなく、知覚的処理を向上させる機能的ジタリング機構であるという仮説を支持しており、計算神経科学分野の最近の知見とも整合する。