[논문 리뷰] Streaming an image through the eye: The retina seen as a dithered scalable image coder

Khaled Masmoudi, Marc Antonini외 1명|arXiv (Cornell University)|2012. 02. 10.

CCD and CMOS Imaging Sensors참고 문헌 40인용 수 13

한 줄 요약

이 논문은 박동성 망막의 구조를 모방한 생물학적 영감을 받은 확장 가능한 이미지 코더를 제안한다. 이 코더는 두 단계의 결정론적 과정을 통해 작동한다: 첫째, 외부 망막 층을 모방하는 시간 지연이 있는 가우시안 차분 변환(Difference-of-Gaussian, DoG)을 적용하고, 둘째, 내부 망막 층에서의 동적 아날로그-디지털 변환을 통해 스파ike 기반 코딩을 수행한다. 주요 혁신은 망막의 잡음을 다중 척도의 디터링(dithering)으로 모델링하여 복원 오차를 화이트닝하고, 입력 신호로부터의 상관관계를 제거하며, 복호화 과정에서 이미지 세부 정보의 인지적 인식 속도를 높이는 데 기여한다.

ABSTRACT

We propose the design of an original scalable image coder/decoder that is inspired from the mammalians retina. Our coder accounts for the time-dependent and also nondeterministic behavior of the actual retina. The present work brings two main contributions: As a first step, (i) we design a deterministic image coder mimicking most of the retinal processing stages and then (ii) we introduce a retinal noise in the coding process, that we model here as a dither signal, to gain interesting perceptual features. Regarding our first contribution, our main source of inspiration will be the biologically plausible model of the retina called Virtual Retina. The main novelty of this coder is to show that the time-dependent behavior of the retina cells could ensure, in an implicit way, scalability and bit allocation. Regarding our second contribution, we reconsider the inner layers of the retina. We emit a possible interpretation for the non-determinism observed by neurophysiologists in their output. For this sake, we model the retinal noise that occurs in these layers by a dither signal. The dithering process that we propose adds several interesting features to our image coder. The dither noise whitens the reconstruction error and decorrelates it from the input stimuli. Furthermore, integrating the dither noise in our coder allows a faster recognition of the fine details of the image during the decoding process. Our present paper goal is twofold. First, we aim at mimicking as closely as possible the retina for the design of a novel image coder while keeping encouraging performances. Second, we bring a new insight concerning the non-deterministic behavior of the retina.

연구 동기 및 목표

• 확장 가능한 이미지 압축을 위해 망막의 처리 단계를 모방하는 결정론적이고 생물학적 영감을 받은 이미지 코더를 설계하는 것.
• 계산적으로 다루기 쉬우면서도 역으로 복원 가능한 코딩 프레임워크 안에서 망막의 시간에 따라 변화하는 비결정론적 행동을 재현하는 데 도전하는 것.
• 기존에 방해 요소로 간주되던 망막의 잡음이 인지적 이미지 처리에 기능적인 역할을 할 수 있는지 탐구하는 것.
• 코딩 과정에서의 디터링이 인지적 복원 품질, 특히 이미지 세부 정보 및 특이점의 조기 인식 능력 향상에 기여하는지 평가하는 것.
• 신경성 잡음과 시각적 코딩의 인지 효율성 사이의 생물학적으로 타당한 연결 고리를 설정하여, 맹장이 비용-왜곡 최적화 외에도 임무 성능 최적화를 위해 작동할 수 있음을 시사하는 것.

제안 방법

• 가상 맹장 모델을 변형하여 외부 맹막 층에서 시간 지연이 있는 가우시안 차분 필터(DoG)를 통한 이미지 변환을 수행하는 두 단계의 결정론적 이미지 코더를 설계한다.
• 내부 맹막 층에서 시간에 따라 변화하는 아날로그-디지털 변환을 동적 임계값 설정을 통해 구현하여 스파이크 기반 코드를 생성한다.
• 망막의 잡음을 모의하기 위해 다중 척도 디터링 신호를 도입하여 내부 층을 비감산형 디터링된 A/D 변환기로 간주한다.
• 디터링 신호를 간질 세포 층의 입력에 적용하며, 관측된 맹막 변동성의 통계적 특성에 맞게 조정한다.
• 스파이크 기반 코드를 시간적 통합과 역 필터링을 통해 역으로 복원하는 복호화 경로를 적용하며, 코딩 과정의 가역성을 활용한다.
• 관측 시간(tobs)을 확장성 제어 매개변수로 사용하며, 더 긴 관측 시간일수록 더 높은 품질의 복원 결과를 얻는다.

실험 결과

연구 질문

• RQ1 시간에 따라 변화하는 동역학까지 포함하여 맹막 처리의 기능적 단계를 충실하게 재현할 수 있는 결정론적 이미지 코더를 설계할 수 있는가?
• RQ2 내부 맹막 층에 디터링 신호를 통합할 경우, 복원된 이미지의 인지적 품질과 오차 특성에 어떤 영향을 미치는가?
• RQ3 복원 오차가 증가하는 상황에서도 코딩 과정에서의 디터링이 복호화 과정에서 이미지 세부 정보 및 특이점의 조기 인식 능력을 향상시키는가?
• RQ4 디터링 과정이 복원 오차를 입력 자극으로부터 얼마나 잘 분리시키며, 오차 스펙트럼을 얼마나 잘 화이트닝하는가?
• RQ5 맹막 출력의 비결정론적 행동은 잡음으로서의 설명보다 인지 최적화를 위한 기능적 디터링 메커니즘으로서 더 잘 설명될 수 있는가?

주요 결과

• 디터링된 코더는 세부 정보 인식 속도를 가속화한다: 44 ms 관측 시간에 도달했을 때 원숭이 이미지의 얼굴 및 털 세부 묘사 등 미세한 이미지 특징이 명확하게 보이지만, 잡음이 없는 복원에서는 여전히 흐릿하게 남아 있다.
• 디터링 과정은 복원 오차를 화이트닝하고 입력 자극으로부터의 상관관계를 제거하며, 이는 인지적 왜곡을 줄이는 데 핵심적인 특징이다.
• 디터링된 경우 평균 제곱 오차(MSE)가 더 높음에도 불구하고 인지적 품질이 뛰어나, 맹장의 최적화 기준이 비용-왜곡 최적화 외에도 주로 임무 성능 최적화에 있다는 것을 시사한다.
• 복원의 최적 관측 시간은 44 ms로 확인되었으며, 이때 인지적 품질이 최고조에 이르며, 시간을 통한 코덱의 확장 가능성은 이를 입증한다.
• 모델는 스파이크 기반 코드를 정확히 역으로 복원하여 원본 이미지를 재구성할 수 있었으며, 이는 결정론적 조건과 디터링 조건 모두에서 코딩 체계의 가역성이 확인되었음을 의미한다.
• 결과는 맹막의 잡음이 단순한 부산물이 아니라 인지 처리를 향상시키는 기능적 디터링 메커니즘이며, 최근 컴퓨팅 신경과학의 연구 결과와도 부합함을 지지한다.