[논문 리뷰] Information loss in an optimal maximum likelihood decoding

Inés Samengo|ArXiv.org|2001. 10. 26.

Neural dynamics and brain function참고 문헌 15인용 수 5

한 줄 요약

이 논문은 최대우도 추정 복원 과정에서 발생하는 정보 손실을 정량화하기 위해, 복원 과정을 공동 자극-반응 확률의 인위적 왜곡으로 모델링한다. 작은 왜곡에 대해 정보 손실은 왜곡 크기의 제곱에 비례하며, 진짜 분포와 왜곡된 분포 간의 칼리브-라이블러 발산을 통해 손실이 정량화되며, 각 복원 클래스 내에서 반응 우도가 비례할 경우 정확한 복원이 이루어진다.

ABSTRACT

The mutual information between a set of stimuli and the elicited neural responses is compared to the corresponding decoded information. The decoding procedure is presented as an artificial distortion of the joint probabilities between stimuli and responses. The information loss is quantified. Whenever the probabilities are only slightly distorted, the information loss is shown to be quadratic in the distortion

연구 동기 및 목표

• 신경 반응을 이용한 최대우도 추정을 통한 복원 과정에서 발생하는 정보 손실을 공식적으로 정량화하는 것.
• 복원 과정을 진짜 연합 확률 분포 P(r,s)의 인위적 왜곡으로 모델링하는 것.
• 진짜 상호정보량 I와 복원된 상호정보량 ID 사이의 차이에 대한 일반적인 표현을 유도하는 것.
• 작은 왜곡의 근처에서 정보 손실이 최소화되거나 0이 되는 조건을 규명하는 것.
• 신경 코드 연구에서 복원된 정보의 신뢰성을 평가하기 위한 프레임워크를 제공하는 것.

제안 방법

• 복원 과정을 반응 r에서 예측된 자극 s′로의 변환으로 모델링하여, 반응 공간 R을 클래스 C(s′)로 분할한다.
• 복원된 정보 ID를 진짜 자극 S와 복원된 반응 S′ 사이의 상호정보량으로 정의하며, 왜곡된 연합 확률 분포를 사용한다.
• I − ID의 차이를 진짜 연합 분포와 왜곡된 연합 분포 간의 칼리브-라이블러 발산으로 표현한다.
• 왜곡 Δ(r,s)와 Δ(r)에 대한 정보량 차이의 두 번째 차수 테일러 전개를 수행하여 제곱근 근사식을 도출한다.
• 각 복원 클래스 내에서 진짜 반응 우도가 평균화된 값에서 벗어나는 정도를 정량화하는 오차 함수 E(s′,s)를 유도한다.
• 각 클래스 C(s′) 내에서 r에 대해 P(r|s)/P(r)의 비율이 모든 s에 대해 일정할 경우 정확한 복원(I = ID)이 이루어진다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 신경 반응에서 자극을 추론하기 위해 최대우도 복원을 사용할 경우 얼마나 많은 정보가 손실되는가?
• RQ2 복원된 정보량 ID가 진짜 상호정보량 I와 동일해지는 조건은 무엇인가?
• RQ3 반응 확률에 대한 작은 왜곡에 대해 정보 손실 I − ID의 함수 형태는 무엇인가?
• RQ4 각 복원 클래스 내에서 반응 분포의 구조는 정보 손실의 크기에 어떻게 영향을 미치는가?
• RQ5 연합 확률의 펌더티케이션 전개를 통해 정보 손실을 분석적으로 정량화할 수 있는가?

주요 결과

• 정보 손실 I − ID는 항상 음이 아니며, 진짜 분포와 왜곡된 분포 간의 칼리브-라이블러 발산과 같다.
• 작은 왜곡에 대해 정보 손실은 왜곡 매개변수 Δ(r,s)와 Δ(r)의 제곱에 비례하며, 두 번째 차수 테일러 전개를 통해 이를 입증하였다.
• 각 복원 클래스 C(s′) 내에서 모든 s에 대해 r에 대해 P(r|s)/P(r)의 비율이 일정할 경우 정확한 복원(I = ID)이 달성되며, 이는 우도가 비례함을 의미한다.
• 정보 손실의 크기는 각 클래스 C(s′) 내에서 진짜 P(r,s)와 P(r)가 그 평균값으로부터 얼마나 떨어져 있는지를 측정하는 함수 E(s′,s)에 의해 결정된다.
• 유도된 정보 손실 표현식은 짧은 시간 창이나 특정 반응 분포에 대한 가정 없이도 일반적으로 적용 가능하다.
• 이 프레임워크는 최적 복원이 정확히 수행되더라도 정보가 얼마나 손실되는지 원칙적으로 평가할 수 있도록 한다.