[논문 리뷰] The Minimal Compression Rate for Similarity Identification

Amir Ingber, Tsachy Weissman|arXiv (Cornell University)|2013. 12. 07.

Algorithms and Data Compression참고 문헌 35인용 수 11

한 줄 요약

이 논문은 손실 없는 서명을 사용하여 데이터베이스 내 유사한 시퀀스를 신뢰성 있게 식별하기 위해 필요한 최소 압축 비율을 제시한다. 이는 거짓 음성(false negative)이 허용되지 않는 조건 하에서 이루어지며, i.i.d. 소스에 대해 최소 비율이 단일 문자 정보량에 의해 결정됨을 증명하고, 이 작업에 대해 손실 압축 기반 방법이 일반적으로 최적성이 아님을 보여준다.

ABSTRACT

Traditionally, data compression deals with the problem of concisely representing a data source, e.g. a sequence of letters, for the purpose of eventual reproduction (either exact or approximate). In this work we are interested in the case where the goal is to answer similarity queries about the compressed sequence, i.e. to identify whether or not the original sequence is similar to a given query sequence. We study the fundamental tradeoff between the compression rate and the reliability of the queries performed on compressed data. For i.i.d. sequences, we characterize the minimal compression rate that allows query answers, that are reliable in the sense of having a vanishing false-positive probability, when false negatives are not allowed. The result is partially based on a previous work by Ahlswede et al., and the inherently typical subset lemma plays a key role in the converse proof. We then characterize the compression rate achievable by schemes that use lossy source codes as a building block, and show that such schemes are, in general, suboptimal. Finally, we tackle the problem of evaluating the minimal compression rate, by converting the problem to a sequence of convex programs that can be solved efficiently.

연구 동기 및 목표

• 거짓 음성이 허용되지 않는 데이터베이스 내 유사성 쿼리에 대한 압축 비율의 기본 한계를 규명하는 것.
• i.i.d. 소스 가정 하에 거짓 양성 확률이 점점 줄어드는 최소 압축 비율을 특성화하는 것.
• 유사성 식별을 위한 손실 소스 코딩 기반 방법의 성능을 평가하고, 이러한 방법이 본질적으로 비최적임을 보여주는 것.
• 단순한 볼록 프로그래밍을 통한 최소 압축 비율 평가를 위한 계산 효율적인 방법을 개발하는 것.

제안 방법

• 유사성 쿼리에 대한 압축된 데이터 모델링을 위해 정보이론적 프레임워크를 사용하며, 서명을 원본 시퀀스의 압축 표현으로 간주한다.
• 역행 유도 증명을 위해 본질적으로 일반적인 부분집합 보조정리를 적용하여, 유도된 압축 비율의 날카로움(tightness)을 증명한다.
• 상호정보량과 분산 제약 조건을 포함하는 단일 문자 최적화 문제로 최소 압축 비율을 특성화한다.
• 최적화 문제를 볼록 프로그램의 연속 시퀀스로 변환하여 효율적인 계산을 가능하게 한다.
• 정보이론적 경계로부터 유도된 최소 비율을 달성할 수 없음을 보여줌으로써, 손실 소스 코딩 방법이 이 작업에서 일반적으로 비최적임을 입증한다.
• 함수 행렬의 중복 또는 일정한 행을 포함하지 않는 함수 클래스 F'을 도입하고, 이러한 함수들이 최적 성능을 달성하는 데 충분함을 증명한다.

실험 결과

연구 질문

• RQ1 거짓 음성이 없는 유사성 식별을 위한 최소 압축 비율은 무엇인가?
• RQ2 최소 압축 비율은 유사성 임계값과 소스 분포에 따라 어떻게 변화하는가?
• RQ3 손실 소스 코딩 방법은 이 유사성 식별 작업에서 최적 압축 비율을 달성할 수 있는가?
• RQ4 최소 압축 비율 평가의 계산 복잡도는 무엇이며, 이를 볼록 최적화로 줄일 수 있는가?
• RQ5 압축 방식에서 사용되는 함수 클래스에 대한 구조적 단순화가 최적성을 유지하는가?

주요 결과

• 거짓 음성이 없는 유사성 식별을 위한 최소 압축 비율은 단일 문자 정보량으로 특성화되며, 특히 분산 제약 조건 하에서의 최소 상호정보량이다.
• 최소 비율은 손실 소스 코딩 방법이 달성 가능한 비율보다 엄격히 높으며, 이는 이러한 방법이 이 작업에서 일반적으로 비최적임을 증명한다.
• 최소 비율 계산 문제는 볼록 프로그램의 연속 시퀀스로 환원될 수 있어 효율적인 수치 평가가 가능하다.
• 역행 증명은 본질적으로 일반적인 부분집합 보조정리를 기반으로 하며, 이는 오차 확률를 제한하고 비율 영역의 날카로움을 확립하는 데 핵심적인 역할을 한다.
• 함수의 행렬 표현에서 반복되거나 일정한 행을 포함하는 임의의 함수는 최적성 손실 없이 제한된 클래스 F' 내의 등가 함수로 치환 가능함을 보여준다.
• 최적의 압축 방식은 시퀀스 길이에 비례하여 서명 크기가 증가하며, 이 비율은 소스와 압축 서명 간의 상호정보량에 의해 결정된다.