[논문 리뷰] Coding for Computing Irreducible Markovian Functions of Sources with Memory

Sheng Huang, Mikael Skoglund|arXiv (Cornell University)|2013. 05. 25.

Wireless Communication Security Techniques참고 문헌 16인용 수 4

한 줄 요약

이 논문은 유한 링 위에서 선형 코딩을 제안하여 기억을 가진 소스의 기약 마르코프 함수를 계산하며, 다항식 구조를 활용해 암묵적인 협업을 가능하게 한다. 비ergodic 상황에서도 비유한 필드보다 비유한 필드가 항상 우월함을 입증하며, 특정 함수에 대해서는 링 위에서의 선형 코딩이 필드 위에서의 것보다 엄밀히 더 최적임을 보여준다.

ABSTRACT

One open problem in source coding is to characterize the limits of representing losslessly a non-identity discrete function of the data encoded independently by the encoders of several correlated sources with memory. This paper investigates this problem under Markovian conditions, namely either the sources or the functions considered are Markovian. We propose using linear mappings over finite rings as encoders. If the function considered admits certain polynomial structure, the linear encoders can make use of this structure to establish "implicit collaboration" and boost the performance. In fact, this approach universally applies to any scenario (arbitrary function) because any discrete function admits a polynomial presentation of required format. There are several useful discoveries in the paper. The first says that linear encoder over non-field ring can be equally optimal for compressing data generated by an irreducible Markov source. Secondly, regarding the previous function-encoding problem, there are infinitely many circumstances where linear encoder over non-field ring strictly outperforms its field counterpart. To be more precise, it is seen that the set of coding rates achieved by linear encoder over certain non-field rings is strictly larger than the one achieved by the field version, regardless which finite field is considered. Therefore, in this sense, linear coding over finite field is not optimal. In addition, for certain scenarios where the sources do not possess the ergodic property, our ring approach is still able to offer a solution.

연구 동기 및 목표

• 기억을 가진 상관된 소스의 이산 함수를 계산하기 위한 코딩 비율 영역을 특성화하는 것.
• 비유한 필드 대비 비유한 링 위에서의 선형 인코더가 함수 계산에서 더 우수한 성능을 낼 수 있는지 조사하는 것.
• 링 기반 선형 코딩이 필드 기반 대비 엄밀히 더 큰 비율 영역을 달성할 수 있는 조건을 설정하는 것.
• 기본 함수의 다항식 표현을 활용하여 비ergodic, 마르코프 소스로의 소스 코딩 이론을 확장하는 것.
• 모든 이산 함수에 대해 다항식 표현을 통해 링 기반 선형 코딩의 보편성과 최적성을 입증하는 것.

제안 방법

• 저자들은 소스의 기능적 의존성을 포괄하는 구조적 인코딩을 가능하게 하기 위해, 이산 함수의 다항식 구조를 활용한 비유한 링 위에서의 선형 사상으로 인코더를 사용한다.
• 모든 이산 함수를 비유한 링 위에서의 다항식으로 표현함으로써, 기능적 의존성을 반영하는 구조적 인코딩을 가능하게 한다.
• 소스 과정의 기약성과 마르코프 성질을 활용하여 일반적인 수열과 엔트로피 한계를 정의한다.
• 마르코프 과정의 공동 일반성과 엔트로피 비율을 분석함으로써 일반적인 집합의 크기 상한을 도출하고, 비율 영역을 특성화한다.
• 비유한 필드와 비유한 링 위에서의 가능 비율 영역을 비교하여, 무한한 수의 경우에서 링 기반 영역이 엄밀히 더 크다는 것을 증명한다.
• 마르코프 가정 하에 엔트로피 비율 분해와 일반적인 수열 분석을 활용하며, 블록 엔트로피의 극한을 통해 소스의 불확실성을 특성화한다.

실험 결과

연구 질문

• RQ1 기억을 가진 소스의 함수를 계산할 때, 비유한 링 위에서의 선형 코딩이 비유한 필드 위에서의 것보다 더 우수한 성능을 낼 수 있는가?
• RQ2 비유한 링 위에서의 선형 인코더의 가능 비율 영역이 어떤 유한 필드의 것보다 엄밀히 초과하는 상황이 존재하는가?
• RQ3 제안된 링 기반 코딩 접근법은 비ergodic 마르코프 소스에 대해서도 여전히 효과적인가?
• RQ4 모든 이산 함수를 링 기반 선형 인코딩에 적합한 다항식 형태로 표현할 수 있는가?
• RQ5 함수의 구조와 비유한 링을 사용할 때의 성능 향상 간의 관계는 무엇인가?

주요 결과

• 기약 마르코프 소스에서 데이터를 압축할 때, 비유한 링 위에서의 선형 인코더는 비유한 필드 위에서의 것과 동일한 최적 성능을 달성한다.
• 무한히 많은 상황에서 비유한 링 위에서의 선형 코딩이 어떤 유한 필드 위에서의 것보다 엄밀히 더 뛰어나며, 더 큰 가능 비율 영역을 제공한다.
• 일부 비유한 링 위에서의 선형 인코더를 사용할 때의 가능 코딩 비율 집합은 어떤 유한 필드 위에서의 것보다 엄밀히 더 크며, 이는 필드 기반 코딩이 일반적으로 최적이 아니라는 것을 증명한다.
• 비유한 링 위에서의 다항식 표현의 존재로 인해 제안된 방법은 모든 이산 함수에 보편적으로 적용된다.
• 비ergodic 성질을 갖는 소스에서도 링 기반 접근법은 효과적이며, 표준 Slepian–Wolf 가정을 초월한 적용 가능성을 넓힌다.
• 일반적인 수열 분석을 통해 소스 과정의 엔트로피 비율을 한정하고, 그 결과로 도출된 비율 영역이 비ergodic 케이스에서 Slepian–Wolf 내부 바ounds보다 더 날카롭게 나타난다.