[논문 리뷰] Metrics Between Probability Distributions on Finite Sets of Different Cardinalities by Maximizing Mutual Information (MMI)

M. Vidyasagar|arXiv (Cornell University)|2011. 04. 23.

Advanced Data Compression Techniques인용 수 2

한 줄 요약

이 논문은 서로 다른 원소 수를 가진 유한 집합 위의 확률 분포를 비교하기 위한 새로운 지표를 제안한다. 이 지표는 주어진 주변확률을 유지하는 연합분포의 엔트로피를 최소화함으로써 정의되며, 상호정보량 최대화 기법을 사용한다. 이 방법은 거리의 상한을 효율적으로 계산할 수 있는 근사 알고리즘을 제공하여, 최소한의 정밀도 손실로 i.i.d. 스토케스틱 프로세스의 순서를 낮춘 근사 방법을 가능하게 한다.

ABSTRACT

With increasing use of digital control it is natural to view control inputs and outputs as stochastic processes assuming values over finite alphabets rather than in a Euclidean space. As control over networks becomes increasingly common, data compression by reducing the size of the input and output alphabets without losing the fidelity of representation becomes relevant. This requires us to define a notion of distance between two stochastic processes assuming values in distinct sets, possibly of different cardinalities. If the two processes are i.i.d., then the problem becomes one of defining a metric between two probability distributions over distinct finite sets of possibly different cardinalities. This is the problem addressed in the present paper. A metric is defined in terms of a joint distribution on the product of the two sets, which has the two given distributions as its marginals, and has minimum entropy. Computing the metric exactly turns out to be NP-hard. Therefore an efficient greedy algorithm is presented for finding an upper bound on the distance. This problem also turns out to be NP-hard, so again a greedy algorithm is constructed for finding a suboptimal reduced order approximation. Taken together, all the results presented here permit the approximation of an i.i.d. process over a set of large cardinality by another i.i.d. process over a set of smaller cardinality. In future work, attempts will be made to extend this work to Markov processes over finite sets.

연구 동기 및 목표

• 디지털 제어 및 데이터 압축의 맥락에서, 서로 다른 원소 수를 가진 유한 집합 위의 확률 분포 간의 의미 있는 거리 개념을 정의하기 위해.
• 큰 알파벳 기반의 스토케스틱 프로세스를 더 단순한 작은 알파벳 기반의 프로세스로 정밀도를 유지하면서 근사화하는 데 도전하는 데에.
• 정확한 계산이 NP-난해하므로, 거리 추정을 위한 효율적인 계산 방법을 개발하기 위해.
• 유한 집합 위의 i.i.d. 프로세스에 대해 최적은 아니지만 계산이 가능한 순서를 낮춘 근사 방법을 제공하기 위해.
• 향후 연구에서 마르코프 프로세스로의 프레임워크 확장을 위한 기초를 마련하기 위해.

제안 방법

• 주어진 주변확률을 가지는 임의의 연합분포의 최소 엔트로피로, 서로 다른 유한 집합 위의 두 확률 분포 간의 거리를 정의한다.
• 주변확률 제약 조건 하에 상호정보량을 최대화하는 최적화 문제로 거리 계산을 재구성한다.
• 정확한 계산이 NP-난해하므로, 거리의 상한을 계산하기 위해 근사 알고리즘을 사용한다.
• 큰 집합 위의 i.i.d. 프로세스를 더 작은 집합 위의 프로세스로 근사화하는 데 하위최적의 근사 해를 찾기 위해 두 번째 근사 알고리즘을 구성한다.
• 지표 계산에 사용된 연합분포가 원래 주변확률 분포를 유지하도록 제약 조건을 설정한다.
• 특히 엔트로피와 상호정보량을 중심으로 한 정보이론 원리를 활용하여 지표를 정의하고 계산한다.

실험 결과

연구 질문

• RQ1 서로 다른 원소 수를 가진 유한 집합 위의 확률 분포 간에 거리를 어떻게 정의할 수 있는가?
• RQ2 제안된 지표의 계산 복잡도는 어떻게 되며, 효율적인 근사가 가능한가?
• RQ3 이 지표를 사용하여 큰 알파벳 기반의 i.i.d. 프로세스를 더 작은 알파벳 기반의 프로세스로 근사화할 수 있는가?
• RQ4 이 프레임워크에서 근사 정밀도와 계산 복잡도 사이의 상충 관계는 어떠한가?
• RQ5 이 방법은 메모리가 있는 마르코프 프로세스로 얼마나 넓게 확장할 수 있는가?

주요 결과

• 제안된 지표는 주어진 주변확률을 가지는 임의의 연합분포의 최소 엔트로피로 정의되며, 이는 상호정보량 최대화와 해당한다.
• 지표의 정확한 계산은 NP-난해함이 증명되었으며, 이에 따라 근사 기법이 필수적이다.
• 거리의 상한을 계산하기 위해 근사 알고리즘을 개발하여 실용적인 근사 방법을 제공한다.
• 두 번째 근사 알고리즘을 구성하여 큰 집합 위의 i.i.d. 프로세스를 더 작은 집합 위의 프로세스로 하위최적의 근사 해를 찾는다.
• 이 프레임워크는 큰 알파벳 기반의 스토케스틱 프로세스를 손실 압축할 수 있도록 하며, 통계적 정밀도를 유지한다.
• 결과적으로 향후 마르코프 프로세스로의 확장 기반을 마련하였으며, 네트워크 제어 및 데이터 압축 분야에 광범위한 응용 가능성을 시사한다.