[논문 리뷰] Information-Theoretic Viewpoints on Optimal Causal Coding-Decoding Problems

Siva K. Gorantla, Todd P. Coleman|arXiv (Cornell University)|2011. 02. 01.

Neural dynamics and brain function참고 문헌 55인용 수 19

한 줄 요약

이 논문은 피드백이 있는 최적의 원인적 코딩-디코딩 문제를 위한 정보이론적 프레임워크를 제시하며, 충분통계량을 기반으로 최적 전략의 구조적 결과를 도출하기 위해 동적 프rogramming을 사용한다. 고정된 인코더-디코더 쌍이 특정 비용 함수에 대해 최적임을 보여주는 역최적제어 조건을 수립하였으며, 이는 정규분포 및 은닉 마르코프 모델에서 로그우도비 기반 비용 함수를 통해 입증되었다.

ABSTRACT

In this paper we consider an interacting two-agent sequential decision-making problem consisting of a Markov source process, a causal encoder with feedback, and a causal decoder. Motivated by a desire to foster links between control and information theory, we augment the standard formulation by considering general alphabets and a cost function operating on current and previous symbols. Using dynamic programming, we provide a structural result whereby an optimal scheme exists that operates on appropriate sufficient statistics. We emphasize an example where the decoder alphabet lies in a space of beliefs on the source alphabet, and the additive cost function is a log likelihood ratio pertaining to sequential information gain. We also consider the inverse optimal control problem, where a fixed encoder/decoder pair satisfying statistical conditions is shown to be optimal for some cost function, using probabilistic matching. We provide examples of the applicability of this framework to communication with feedback, hidden Markov models and the nonlinear filter, decentralized control, brain-machine interfaces, and queuing theory.

연구 동기 및 목표

• 피드백이 있는 원인적 코딩-디코딩 시스템에서의 순차적 의사결정 문제를 통합된 프레임워크로 제시함으로써 제어 이론과 정보 이론을 연결한다.
• 일반 알파벳 설정에서 계산이 가능하도록 충분통계량에 기반한 최적 전략이 존재하는 구조적 조건을 규명한다.
• 통계적 조건을 만족하는 고정된 인코더-디코더 쌍이 확률적 매칭을 통해 유도된 비용 함수에 대해 최적임을 보여줌으로써 역최적제어 문제를 해결한다.
• 피드백이 있는 통신, 은닉 마르코프 모델, 비선형 필터링, 분산 제어, 뇌-기계 인터페이스 등에의 적용 가능성을 보여준다.
• 시간-수평에 독립적인 알파벳과 비용의 합을 목표로 하는 목적함수를 포함함으로써 고전적 비율-왜곡 이론과 분리 정리의 일반화를 제공한다.

제안 방법

• 동적 프로그래밍을 사용하여 구조적 결과를 도출함: 과거 관측치와 행동의 충분통계량에 기반한 최적의 원인적 코딩-디코딩 전략이 존재한다.
• 특히 믿음 공간 디코딩에서의 순차적 정보 증가를 측정하기 위해 로그우도비 기반의 비용 함수를 도입한다.
• 역최적제어 문제를 해결하기 위해 확률적 매칭을 적용하여, 통계적으로 일관된 인코더-디코더 쌍이 유도된 비용 함수에 대해 최적임을 보인다.
• 선형 충분통계량과 최소 평균제곱오차 추정을 사용하여 가우시안 과정에 대해 명시적인 정적 마르코프 전략을 유도한다.
• 최적의 비용 함수가 디코더 출력의 조건부 및 균일 분포 간의 쿨백-라이블러 발산에 비례함을 증명한다.
• 선형 가우시안 모델을 사용하여 최적 정책과 비용 함수의 닫힌 형태 표현식을 유도하며, 시스템 분산에 따라 파라미터 β와 γ를 기술한다.

실험 결과

연구 질문

• RQ1 일반 알파벳과 피드백 조건 하에서 과거 관측치와 행동의 충분통계량에 기반한 최적의 원인적 코딩-디코딩 전략이 존재하는 조건은 무엇인가?
• RQ2 고정된 인코더-디코더 쌍이 어떤 비용 함수에 대해 최적임이 보장되는가를 해결하기 위해, 역최적제어 문제는 어떻게 해결할 수 있는가?
• RQ3 디코더가 소스 알파벳에 대한 믿음에 기반해 작동할 경우 최적의 비용 함수의 구조는 어떠한가?
• RQ4 유도된 최적 전략과 비용 함수는 통신 및 필터링 이론의 고전적 결과를 어떻게 일반화하는가?
• RQ5 이 프레임워크는 비선형 필터링, 분산 제어, 뇌-기계 인터페이스 등 어떤 방식으로 적용될 수 있는가?

주요 결과

• 과거 관측치와 행동의 충분통계량에만 의존하는 최적의 원인적 코딩-디코딩 전략이 존재하며, 이는 일반 알파벳 설정에서 계산이 가능하도록 한다.
• i.i.d. 찌꺼기 성분을 가진 가우시안 과정의 경우 최적의 인코더와 디코더는 선형이고 정적이며, 이론적 이득 β = √(L/C) 및 γ = βC/(L + σ²v)로 닫힌 형태로 표현된다.
• 역최적제어 비용 함수는 디코더 출력의 조건부 및 균일 분포 간의 로그우도비에 비례한다.
• 최적의 비용 함수는 제곱 오차의 합과 예측 오차를 포함하는 가중치 항의 합에 비례하며, 이 가중치는 상관관계 ρ와 노이즈 분산에 따라 달라진다.
• 유도된 비용 함수는 선형 정적 마르코프 전략이 최적임을 보장하며, 최적성 조건은 쿨백-라이블러 발산 최소화를 통해 검증된다.
• 이 프레임워크는 은닉 마르코프 모델과 비선형 필터링으로 일반화되며, 디코더의 출력 공간은 소스에 대한 믿음을 나타내며, 비용 함수는 순차적 정보 증가를 코딩한다.