[논문 리뷰] Combinatorial information distance

Joel Ratsaby|arXiv (Cornell University)|2009. 05. 14.

Algorithms and Data Compression참고 문헌 16인용 수 3

한 줄 요약

이 논문은 이산적 정보 이론과 콜모고로프 복잡도 및 레플-지브 원리에 뿌리를 두고, 길이가 다른 이진 문자열 간의 이질성 측정을 위한 새로운 조합적 정보 거리 $ d(A,B) = \max\{\delta(A,B), \delta(B,A)\} $를 제안한다. 여기서 $ \delta(A,B) = \log_2(t(|B \cap \overline{A}| \cdot |A|)) $이며, 이 거리는 특정 조건 하에서 삼각 부등식을 만족하며, 도메인 독립적이고 보편적인 측정법을 제공한다.

ABSTRACT

Let $|A|$ denote the cardinality of a finite set $A$. For any real number $x$ define $t(x)=x$ if $x\geq1$ and 1 otherwise. For any finite sets $A,B$ let $δ(A,B)$ $=$ $\log_{2}(t(|B\cap\bar{A}||A|))$. We define {This appears as Technical Report # arXiv:0905.2386v4. A shorter version appears in the {Proc. of Mini-Conference on Applied Theoretical Computer Science (MATCOS-10)}, Slovenia, Oct. 13-14, 2010.} a new cobinatorial distance $d(A,B)$ $=$ $\max\{δ(A,B),δ(B,A)\} $ which may be applied to measure the distance between binary strings of different lengths. The distance is based on a classical combinatorial notion of information introduced by Kolmogorov.

연구 동기 및 목표

• 데이터의 도메인 전용 지식이나 사전 가정 없이도 이진 문자열 간의 보편적인 거리 함수를 개발하는 것.
• 문자열에서의 정보 복잡도 개념을 부분 문자열 집합으로 확장하고, 조합적 엔트로피와 집합 사영을 활용하는 것.
• 문자열 길이의 차이에 대해 불변이며, 집합 이론적 정보 측정을 통해 구조적 이질성을 포착하는 거리 척도를 정의하는 것.
• 일부 집합이 다른 집합에 엄격하게 포함되지 않을 조건 하에서 제안된 거리에 대해 삼각 부등식과 같은 이론적 성질을 확립하는 것.
• 패턴 인식, 계통발생학, 정보 검색 분야의 응용을 위한 최소한의 보편적 프레임워크를 제공하는 것.

제안 방법

• 유한 집합 $ A $와 $ B $ 간의 정보 거리를 측정하기 위해 $ \delta(A,B) = \log_2(t(|B \cap \overline{A}| \cdot |A|)) $를 정의하며, 여기서 $ t(x) = \max(x,1) $이다.
• 대칭성과 집합 크기의 불균형에 대한 강건성을 확보하기 위해 전체 거리를 $ d(A,B) = \max\{\delta(A,B), \delta(B,A)\} $로 구성한다.
• 이진 문자열 $ x $를 부분 문자열 집합 $ M(x) \subseteq \mathbb{Y} $(예: k-단어 또는 n-그램)로 모델링하며, 중복을 제거하는 맵핑 $ M $을 사용한다.
• 문자열 간의 비교를 위해 거리 $ d(M(x), M(x')) $를 적용함으로써 길이가 다른 문자열 간의 비교를 가능하게 한다.
• 조합적 엔트로피와 사영 기반 정보 측정을 활용하여 집합 간의 정보량과 조건부 정보를 정의한다.
• 어느 집합도 다른 집합에 엄격하게 포함되지 않을 경우 $ d $ 가 삼각 부등식을 만족함을 증명함으로써, 이 거리가 문자열 공간 위의 준거리로 간주될 수 있음을 입증한다.

실험 결과

연구 질문

• RQ1 조합적 정보 이론에 기반하여 도메인 독립적인 보편적인 거리를 이진 문자열 간에 정의할 수 있는가?
• RQ2 길이가 다른 문자열에서 파생된 부분 문자열 집합 간의 정보량과 이질성을 어떻게 측정할 수 있는가?
• RQ3 제안된 거리 함수가 대칭성과 삼각 부등식과 같은 기본적인 거리 성질을 만족하는가?
• RQ4 이 조합적 거리와 레플-지브 복잡도와 같은 기존의 복잡도 측정법 간의 관계는 어떠한가?
• RQ5 이 거리가 보존된 거리 성질과 정보 이론적 성질을 유지하면서 정규화될 수 있는가?

주요 결과

• 제안된 거리 $ d(A,B) = \max\{\delta(A,B), \delta(B,A)\} $ 는 대칭성을 가지며, 어떤 집합도 다른 집합에 엄격하게 포함되지 않을 경우 삼각 부등식을 만족한다.
• 함수 $ \delta(A,B) $ 는 $ B $ 와 $ A $ 의 여집합의 교집합의 원소 수를 $ |A| $ 로 스케일링하고, $ t(x) $ 함수를 통해 최소값 1로 제한하여 정의된다.
• 이 거리는 문자열 길이의 차이에 대해 불변이며, 집합 이론적 정보 콘텐츠를 통해 구조적 이질성을 포착한다.
• 정보 집합 거리 $ d_M(x,x') = d(M(x), M(x')) $ 는 집합 $ M(x), M(x'), M(x'') $ 가 엄격하게 포함되지 않을 경우 유한 이진 문자열 공간 위의 준거리가 된다.
• 문자열을 부분 문자열 집합으로 간주하고, 집합 차이를 통해 정보 거리를 측정함으로써, 레플-지브 복잡도를 일반화하는 방법을 제공한다.
• 이 방법은 데이터 도메인에 대한 사전 지식이 필요 없이 보편적인 프레임워크를 제공하며, 계통발생학 및 정보 검색 분야의 응용에 적합하다.