[論文レビュー] The evolution of lossy compression

Sarah Marzen, Simon DeDeo|arXiv (Cornell University)|Jun 19, 2015

Neural dynamics and brain function参考文献 97被引用数 35

ひとこと要約

この論文は、進化的生物学に情報理論のレート・歪み理論を適用し、生物が知覚的正確性と処理コストのバランスを取るために、損失あり圧縮を用いた知覚システムを進化させることを示している。最小歪み dmin における臨界閾値が特定され、これより下では知覚コストが環境の複雑さに対して対数的に増加するが、これより上ではコストが一定に保たれ、複雑な環境への効率的適応を可能にする。

ABSTRACT

In complex environments, there are costs to both ignorance and perception. An organism needs to track fitness-relevant information about its world, but the more information it tracks, the more resources it must devote to memory and processing. Rate-distortion theory shows that, when errors are allowed, remarkably efficient internal representations can be found by biologically-plausible hill-climbing mechanisms. We identify two regimes: a high-fidelity regime where perceptual costs scale logarithmically with environmental complexity, and a low-fidelity regime where perceptual costs are, remarkably, independent of the environment. When environmental complexity is rising, Darwinian evolution should drive organisms to the threshold between the high- and low-fidelity regimes. Organisms that code efficiently will find themselves able to make, just barely, the most subtle distinctions in their environment.

研究の動機と目的

• 進化的圧力が、正確性と処理コストのバランスを取るために知覚システムをどのように形作るかを理解すること。
• 生物学的システムにおける知覚の正確性とリソース使用のトレードオフを特定すること。
• 記憶および処理コストが損失あり圧縮下で環境の複雑さにどのようにスケーリングするかを特定すること。
• 最小歪み dmin における臨界閾値が、高精度と低精度の知覚的レジームを分けることを示すこと。
• 進化が、微細な環境の違いを識別できる能力を維持しながらリソース消費を最小限に抑えるために、高精度と低精度のレジームの境界に生物を駆り立てるのを示すこと。

提案手法

• 知覚システムを、歪み制約 D の下で記憶コスト I[R;X] を最小化する損失あり圧縮機としてモデル化するレート・歪み理論を用いる。
• 状態 x を ˜x に誤認した際の適応度コストを測る歪み尺度 d(x, ˜x) を定義し、これは非対称的かつ非一様である可能性がある。
• 記憶コストの下界として相互情報量 I[R;X] を用い、有効な内部表現数 Neff = 2^R(D) を表す。
• 環境サイズ N に伴うスケーリングを分析するため、部分最適なコードブックを用いてレート・歪み関数 R(D) の上限および下限を導出する。
• 分布 φ に従って抽出されたランダムな歪み行列を検討し、大規模な N に対して R(D) が弱い普遍性を示すことを示す。
• dmin = min_{x≠˜x} d(x, ˜x) を、知覚コストのスケーリングレジームを分ける臨界閾値として特定する。

実験結果

リサーチクエスチョン

• RQ1 損失あり圧縮が用いられる場合、知覚コストは環境の複雑さにどのようにスケーリングするか？
• RQ2 最小歪み dmin が知覚システム設計に果たす役割は何か？
• RQ3 なぜ一部の知覚システムは環境の複雑さが増加しても処理コストを一定に保つのか？
• RQ4 レート・歪み理論は、生物学的システムにおける知覚正確性の進化をどのように予測するか？
• RQ5 知覚コストが N に伴って対数的に増加するのか、それとも一定に保たれるのかを決定するのは何か？

主な発見

• 平均歪み D ≥ dmin の場合、環境の複雑さ N が増加しても知覚コスト R(D) は一定であり、低精度レジームを示している。
• D < dmin の場合、知覚コスト R(D) は N に対して対数的にスケーリングし、高精度レジームを示している。
• D ≤ dmin の場合、log2 N − Hb(D/dmin) − (D/dmin) log2(N−1) ≤ R(D) ≤ log2 N − Hb(D/¯d) − (D/¯d) log2(N−1) が R(D) の境界を与える。
• ランダムな歪み行列に対しては、D ≥ dmin のとき R(D) が N に依存しない普遍関数に収束し、時間的に不変なリソース使用を示唆する。
• D ≥ dmin の場合の R(D) の上限は、N に依存せず、Pr(d(x,˜x) ≤ D) のみに依存するため、R(D) = O(1) が低精度レジームで成立することが示される。
• 進化は、微細な環境の違いを識別できる能力を維持しながらリソース消費を最小限に抑えるために、D ≈ dmin の閾値に生物を駆り立てるべきである。