[논문 리뷰] Bounds on $f$-Divergences and Related Distances

Igal Sason|arXiv (Cornell University)|2014. 03. 27.

Wireless Communication Security Techniques인용 수 3

한 줄 요약

이 논문은 총변동 거리(total variation distance)를 기준으로 대칭 f-발산(symmetric f-divergences) — 예를 들어 총변동, 헬링거, 페어슨 카이제곱 발산 — 에 대한 날카운 bounds를 유도한다. 이 bounds가 2개 또는 3개의 원소를 가진 확률 분포를 통해 달성 가능하다는 것을 증명하고, 이를 바탕으로 손실 없는 소스 코딩의 bounds를 향상시키며 채널 코드 탐지에 적용한다.

ABSTRACT

Tight bounds for several symmetric divergence measures are derived in terms of the total variation distance. It is shown that each of these bounds is attained by a pair of 2 or 3-element probability distributions. An application of these bounds for lossless source coding is provided, refining and improving a certain bound by Csiszar. Another application of these bounds has been recently introduced by Yardi. et al. for channel-code detection.

연구 동기 및 목표

• 총변동 거리를 기준으로 하여 대칭 f-발산에 대해 날카운, 명시적인 bounds를 유도하는 것.
• 이 bounds를 달성하는 최소한의 확률 공간(2개 또는 3개의 원소를 가진 분포)을 규명하는 것.
• 특히 손실 없는 소스 코딩에서 Csiszar의 bounds를 개선하여 정보이론적 기준을 정교화하는 것.
• 채널 코드 탐지와 같은 응용 분야에서 향상된 성능 분석을 가능하게 하는 것.

제안 방법

• f-발산 함수의 볼록성과 대칭성 특성을 활용하여 대칭 f-발산에 대한 분석적 bounds를 유도한다.
• 2개 또는 3개의 원소를 가진 확률 분포에 대한 변분 최적화를 통해 가장 극단적인 구성(configuration)을 규명하고, 이로 인해 가장 날카운 bounds를 달성한다.
• bounds를 총변동 거리의 함수로 표현하여, f-발산과 이 기본 측도 사이의 직접적인 기능적 관계를 수립한다.
• 유도된 bounds를 정보이론적 부등식을 통해 손실 없는 소스 코딩에서 Csiszar의 bounds를 개선하는 데 적용한다.
• 유도된 부등식에서 등호가 성립하는 명시적인 2점 또는 3점 분포를 구성함으로써 bounds의 날카움을 검증한다.
• f-발산 이론에서 알려진 쌍대성 및 최소최대 원리(minimax principles)를 활용하여 유도된 bounds의 최적성(optimal)을 확립한다.

실험 결과

연구 질문

• RQ1 총변동 거리에 대해 대칭 f-발산에 대한 가장 날카운 가능한 상한은 무엇인가?
• RQ2 모든 가능한 분포 중에서 가장 날카운 bounds를 달성하는 확률 분포는 무엇인가?
• RQ3 이 bounds는 손실 없는 소스 코딩에서 기존의 성능 한계를 향상시키는 데 어떻게 적용될 수 있는가?
• RQ4 이 bounds는 채널 코드 분석에서 탐지 기준을 강화하는 데 사용될 수 있는가?

주요 결과

• 총변동 거리에 대해 대칭 f-발산에 대한 날카운 bounds가 명시적인 함수 형태로 유도되었다.
• 이 bounds가 특정 2개 또는 3개의 원소를 가진 확률 분포에 의해 달성되며, 이는 날카운다는 것이 입증되었다.
• 유도된 bounds는 손실 없는 소스 코딩에서 Csiszar의 bounds를 개선하여 코딩 효율성의 더 날카운 특성화를 제공한다.
• Yardi 등에 의해 제시된 바와 같이, 결과는 채널 코드 탐지에 적용 가능하며, 탐지 성능의 bounds를 향상시킨다.
• 분석 결과, 이러한 bounds의 극한 분포는 희박한(sparse) 것으로 밝혀졌으며, 오직 두 개 또는 세 개의 결과만을 포함한다.
• 이 방법은 다수의 f-발산을 단일 기준 측도(총변동 거리)와 연결하는 일반적인 프레임워크를 수립한다.