[논문 리뷰] Information Complexity and Estimation

Dror Baron|arXiv (Cornell University)|2011. 08. 04.

Computability, Logic, AI Algorithms참고 문헌 18인용 수 6

한 줄 요약

이 논문은 비선형, 노이즈 있는 신호 처리 시스템으로부터 알 수 없는 입력을 추정하기 위해 데이터 블록의 경험 엔트로피로 측정되는 정보 복잡성과 노이즈 있는 측정의 가능도 사이의 균형을 맞추는 보편적인 추정 프레임워크를 제안한다. 마르코프 체인 몬테카를로(MCMC)와 적응형 양자화, 보편적인 무손실 압축을 결합함으로써, 입력 분포에 대한 사전 지식이 없더라도, 임의의 비선형 사상과 노이즈 있는 관측이 존재하는 상황에서도 渐近적으로 최적의 추정 성능을 달성한다.

ABSTRACT

We consider an input $x$ generated by an unknown stationary ergodic source $X$ that enters a signal processing system $J$, resulting in $w=J(x)$. We observe $w$ through a noisy channel, $y=z(w)$; our goal is to estimate x from $y$, $J$, and knowledge of $f_{Y|W}$. This is universal estimation, because $f_X$ is unknown. We provide a formulation that describes a trade-off between information complexity and noise. Initial theoretical, algorithmic, and experimental evidence is presented in support of our approach.

연구 동기 및 목표

• 입력 분포에 대한 사전 지식이 없더라도 작동하는 보편적인 추정 알고리즘을 개발하는 것, 특히 노이즈 있는 측정이 존재하는 비선형 신호 처리 시스템에 적용하는 것.
• 가우시안 백색 잡음과 i.i.d. 신호 이외의 임의의 측정 시스템에서 보편적 접근법의 부재를 해결하는 것.
• 베이지안 MAP 추정 프레임워크 내에서 경험 엔트로피를 통한 정보 복잡성과 통계적 가능도를 통합하는 것.
• 적응형 양자화와 MCMC 샘플링을 활용하여 고차원 설정에서 실용적인 추정을 가능하게 하는 것.
• 정적 에르고딕 소스 하에서 추정 오차의 渐近적 최적성 달성, 즉 베이지안 리스크와 일치하는 것.

제안 방법

• 후행 확률이 가능도 $ f_{Y|W}(y|w=J(\tilde{x})) $ 와 경험 엔트로피 $ H_q(\tilde{x}) $ 기반의 정보 복잡성 항의 곱에 비례하는 MAP 추론 문제로 추정을 공식화한다.
• 목표 샘플링 분포로 버울츠만 분포를 사용한다: $ f_s(\tilde{x}) \triangleq \frac{1}{\rho_s} \text{exp}\big(-s[H_q(\tilde{x}) - \text{log}(f_{Y|W}(y|w=J(\tilde{x})))\big) $, 온도 파rameter $ s $ 를 포함한다.
• 후행 확률 분포를 탐색하기 위해 MCMC 프레임워크 내에서 게이브스 샘플링을 활용하여 후보 추정치 $ \tilde{x} $ 의 고차원 공간에서 한 성분씩 갱신한다.
• 계산 비용을 줄이고 수렴 속도를 향상시키기 위해 고정된 양자화 격자 크기의 증가를 피하기 위해 적응형 양자화기 $ Q $ 를 도입한다.
• 크기 $ q = O(\text{log}(N)) $ 의 블록에서 경험 엔트로피 $ H_q(\tilde{x}) $ 를 사용하여 콜모고로프 복잡도를 근사하며, $ N \to \infty $ 일 때 엔트로피율로 수렴하도록 보장한다.
• 코딩 길이(정보 복잡성)와 측정치 적합도 사이의 트레이드오프를 최적화하여, $ f_X $ 를 명시적으로 알지 못하더라도 보편적인 추정이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 알 수 없는 입력 분포를 가진 임의의 비선형 신호 처리 시스템에서 잘 작동하는 보편적 추정 프레임워크를 개발할 수 있는가?
• RQ2 고차원 추정에서 경험 엔트로피로 측정되는 정보 복잡성과 측정 가능도를 효과적으로 균형 잡을 수 있는가?
• RQ3 적응형 양자화와 함께 MCMC 샘플링이 정적 에르고딕 소스에서 추정 오차의 渐近적 최적성을 얼마나 잘 달성할 수 있는가?
• RQ4 비정규 분포 잡음과 비선형 사상 하에서, 제안된 방법이 표준 $ \ell_1 $-최소화보다 우월한가?
• RQ5 입력 분포를 알지 못하는 보편적 설정에서, 이 프레임워크가 입력 분포를 알지 못하더라도 베이지안 최소 평균 제곱 오차(MMSE)에 가까운 성능을 달성할 수 있는가?

주요 결과

• 제안된 MCMC 기반 추정기는 渐近적으로 최적의 추정 오차를 달성하며, i.i.d. 노이즈와 스칼라 채널 하에서 베이지안 리스크로 수렴한다.
• 측정값 $ y = Jx + z $ 를 가진 압축 센싱에서는 측정 수 $ M $ 이 충분히 클 경우 $ \ell_1 $-최소화를 능가한다. 특히 비정규 분포 잡음 하에서 성능 향상이 두드러진다.
• 적응형 양자화는 수렴 속도를 향상시키고 실용적인 확장성을 보장하여, 큰 고정된 양자화 격자에 의한 계산 부담을 피할 수 있다.
• i.i.d. 라플라스 입력에 대한 수치적 결과는 이 방법이 이론적 한계에 가까운 레이트-드istor션 성능을 달성하며, 엔트로피 코딩과 결정론적 압축 방법을 능가함을 보여준다.
• 알 수 없는 입력 통계를 가진 정적 에르고딕 연속 진폭 소스에 대해 이 알고리즘은 레이트-드istor션 함수에 渐近적으로 수렴하며, 손실 압축에서의 보편성을 입증한다.
• 이론적 및 수치적 증거는 비선형 시스템에서 입력 통계가 알려지지 않은 상황에서도 정보 복잡성과 측정 가능도를 효과적으로 균형 잡는 데 성공함을 지지한다.