[논문 리뷰] The evolution of lossy compression

Sarah Marzen, Simon DeDeo|arXiv (Cornell University)|2015. 06. 19.

Neural dynamics and brain function참고 문헌 97인용 수 35

한 줄 요약

이 논문은 진화 생물학에 비율-왜곡 이론을 적용하여, 생물들이 인지 정확도와 처리 비용을 균형 잡기 위해 손실 압축을 사용하는 인지 체계를 진화시킨다는 것을 보여준다. 최소 왜곡 dmin 이하에서는 인지 비용이 환경의 복잡성에 대해 로그적으로 증가하지만, dmin 이상이면 비용이 일정하게 유지되어 복잡한 환경에 효율적으로 적응할 수 있다.

ABSTRACT

In complex environments, there are costs to both ignorance and perception. An organism needs to track fitness-relevant information about its world, but the more information it tracks, the more resources it must devote to memory and processing. Rate-distortion theory shows that, when errors are allowed, remarkably efficient internal representations can be found by biologically-plausible hill-climbing mechanisms. We identify two regimes: a high-fidelity regime where perceptual costs scale logarithmically with environmental complexity, and a low-fidelity regime where perceptual costs are, remarkably, independent of the environment. When environmental complexity is rising, Darwinian evolution should drive organisms to the threshold between the high- and low-fidelity regimes. Organisms that code efficiently will find themselves able to make, just barely, the most subtle distinctions in their environment.

연구 동기 및 목표

• 진화적 압력이 인지 체계의 정확도와 처리 비용을 균형 잡는 방식을 이해하기 위해.
• 생물학적 시스템에서 인지 정밀도와 자원 사용 간의 상호 교환 관계를 규명하기 위해.
• 손실 압축 하에서 기억 및 처리 비용이 환경의 복잡성과 어떻게 척도가 되는지 규명하기 위해.
• 최소 왜곡 dmin에서의 임계값이 고정밀도와 저정밀도 인지 체계 영역을 분리하는 지점임을 보여주기 위해.
• 진화가 생물들을 고정밀도와 저정밀도 영역의 경계에 위치시켜 미세한 환경적 차이를 구분할 능력을 유지하면서 자원 소비를 최소화하도록 이끈다는 것을 입증하기 위해.

제안 방법

• 비율-왜곡 이론을 사용하여 인지 체계를 손실 압축기로 모델링하고, 왜곡 제약 D 하에서 기억 비용 I[R;X]를 최소화한다.
• 상태 x를 ˜x로 잘못 인식했을 때의 적합도 비용을 측정하는 왜곡 측정법 d(x, ˜x)를 정의하며, 이는 비대칭적이고 비균일적일 수 있다.
• 상호정보량 I[R;X]를 기억 비용의 하한으로 사용하여, 효과적인 내부 표현 수 Neff = 2^R(D)로 표현한다.
• 환경 크기 N에 따른 척도 분석을 위해 부분 최적의 코드북을 사용하여 비율-왜곡 함수 R(D)의 상한 및 하한을 유도한다.
• 분포 φ에서 유도된 무작위 왜곡 행렬을 고려하여, 대규모 N에 대해 R(D)의 약한 보편성이 성립함을 보여준다.
• dmin = min_{x≠˜x} d(x, ˜x)를 고정밀도와 저정밀도 영역을 분리하는 임계값으로 식별한다.

실험 결과

연구 질문

• RQ1 손실 압축을 사용할 경우 인지 비용은 환경의 복잡성과 어떻게 척도가 되는가?
• RQ2 최소 왜곡 dmin이 인지 체계 설계에 미치는 역할은 무엇인가?
• RQ3 왜 일부 인지 체계는 환경의 복잡성이 증가해도 처리 비용을 일정하게 유지하는가?
• RQ4 비율-왜곡 이론은 생물학적 시스템에서 인지 정밀도의 진화를 어떻게 예측하는가?
• RQ5 환경 크기 N에 따라 인지 비용이 로그적으로 증가하는지, 아니면 일정하게 유지되는지 결정하는 요소는 무엇인가?

주요 결과

• 평균 왜곡 D ≥ dmin 이면, 환경 복잡성 N 증가에 관계없이 인지 비용 R(D)가 일정하게 유지되며, 이는 저정밀도 영역임을 시사한다.
• D < dmin 이면, 인지 비용 R(D)가 N에 대해 로그적으로 증가하며, 이는 고정밀도 영역임을 시사한다.
• D ≤ dmin 에 대해선 log2 N − Hb(D/dmin) − (D/dmin) log2(N−1) ≤ R(D) ≤ log2 N − Hb(D/¯d) − (D/¯d) log2(N−1) 이라는 상한 및 하한이 성립한다.
• 무작위 왜곡 행렬을 고려할 경우, D ≥ dmin 이면 R(D)가 N에 독립적인 보편 함수로 수렴하며, 이는 자원 사용이 시간에 따라 일정함을 의미한다.
• D ≥ dmin 이면 R(D)의 상한은 오직 Pr(d(x,˜x) ≤ D)에 의존하며, N에는 영향을 받지 않아, 저정밀도 영역에서 R(D) = O(1)임을 보여준다.
• 진화는 생물들을 D ≈ dmin의 임계값에 위치시켜, 미세한 환경적 차이를 유지하면서 자원 소비를 최소화하도록 이끈다.