[논문 리뷰] Information Loss and Anti-Aliasing Filters in Multirate Systems

Bernhard C. Geiger, Gernot Kubin|arXiv (Cornell University)|2013. 10. 31.

stochastic dynamics and bifurcation참고 문헌 10인용 수 4

한 줄 요약

이 논문은 안티앨리어싱 필터를 갖는 다이레이트 시스템에서의 정보 손실을 조사하며, 특정 신호 모델이 없을 경우 안티앨리어싱 필터가 정보 손실을 줄일 수 없다는 것을 보여준다. 가우시안 및 신호+노이즈 모델의 경우 최적의 필터는 조각별로 일정한 형태이며 에너지 기반 설계와 일치하며, 이는 정보이론적 관점에서 두 번째 모멘트 기반 필터 설계를 정당화한다.

ABSTRACT

This work investigates the information loss in a decimation system, i.e., in a downsampler preceded by an anti-aliasing filter. It is shown that, without a specific signal model in mind, the anti-aliasing filter cannot reduce information loss, while, e.g., for a simple signal-plus-noise model it can. For the Gaussian case, the optimal anti-aliasing filter is shown to coincide with the one obtained from energetic considerations. For a non-Gaussian signal corrupted by Gaussian noise, the Gaussian assumption yields an upper bound on the information loss, justifying filter design principles based on second-order statistics from an information-theoretic point-of-view.

연구 동기 및 목표

• 다이레이트 시스템에 대한 안티앨리어징 필터를 정보이론적 관점에서 정보 손실을 분석하는 것.
• 특정 신호 모델이 가정되지 않은 경우 안티앨리어징 필터가 정보 손실을 줄일 수 있는지 확인하는 것.
• 관련 신호와 상관관계가 있는 가우시안 입력 과정에 대한 최적의 안티앨리어징 필터를 유도하는 것.
• 비가우시안 신호에 가우시안 노이즈가 첨가된 경우로 결과를 확장하여 정보 손실의 한계를 설정하는 것.
• 정보이론적 관점에서 두 번째 모멘트(예: 전력스펙트럼밀도) 기반 필터 설계의 타당성을 정당화하는 것.

제안 방법

• 다이레이트 시스템에서의 정보 손실을 정량화하기 위해 상호정보량과 미분엔트로피율을 사용한다.
• 유한한 엔트로피와 안정적인 필터 응답을 확보하기 위해 레니의 정보차원과 페일리-위너 조건을 적용한다.
• 가우시안 가정 하에 정보 손실을 최소화함으로써 최적의 필터를 조각별 일정한 형태로 도출한다.
• 최적의 필터가 신호 대 노이즈비를 최대화하는 에너지 압축 필터와 일치함을 증명한다.
• 비가우시안 신호+노이즈 시나리오에서 가우시안 근사를 사용하여 정보 손실을 근사한다.
• 가우시안 가정이 정보 손실의 상한선을 제공함을 증명하여, 두 번째 모멘트 기반 필터 설계의 타당성을 입증한다.

실험 결과

연구 질문

• RQ1 특정 신호 모델이 없을 경우 다이레이트 시스템에서 안티앨리어징 필터가 정보 손실을 줄일 수 있는가?
• RQ2 관련 신호와 상관관계가 있는 가우시안 입력 과정에 대한 최적의 안티앨리어징 필터는 무엇인가?
• RQ3 비가우시안 신호에 가우시안 노이즈가 첨가된 경우 정보 손실은 어떻게 행동하는가?
• RQ4 두 번째 모멘트 기반(PSD) 필터 설계가 일반적인 경우 정보 손실을 유한하게 유지하는가?
• RQ5 비가우시안 신호+노이즈 시스템에서 가우시안 가정을 사용하여 정보 손실의 상한선을 도출할 수 있는가?

주요 결과

• 특정 신호 모델이 없을 경우, 모든 입력 성분이 에너지와 관계없이 동일하게 취급되므로 안티앨리어징 필터는 정보 손실을 줄일 수 없다.
• 관련 신호와 상관관계가 있는 가우시안 입력의 경우 최적의 안티앨리어징 필터는 조각별 일정한 형태이며 에너지 압축 필터와 일치한다.
• 가우시안 케이스에서 최적의 필터는 평균제곱오차를 최소화하고 신호 대 노이즈비를 최대화하는 필터와 일치한다.
• 가우시안 노이즈가 첨가된 비가우시안 신호의 경우 가우시안 가정이 정보 손실의 상한선을 제공한다.
• 두 번째 모멘트 기반(PSD) 필터 설계는 비가우시안 케이스에서도 정보 손실을 유한하게 유지하므로 정보이론적으로 타당하다.
• 최적의 필터 구조는 다이레이트 시스템의 입력과 출력 간 상호정보량을 최소화함으로써 유도되며, 이는 조각별 일정한 주파수 응답을 갖는다.