[논문 리뷰] SYNTAX: A computer program to compress a sequence and to estimate its information content

Miguel A. Jiménez-Montaño, W. Ebeling외 1명|arXiv (Cornell University)|2002. 04. 05.

Fractal and DNA sequence analysis참고 문헌 5인용 수 6

한 줄 요약

이 논문은 관측된 블록 엔트로피를 통해 규칙 생성을 안내하는 Fortran 기반 알고리즘인 SYNTAX를 소개한다. 이 알고리즘은 반복적으로 빈도가 높은 부분 문자열을 비단말 기호로 대체함으로써 기호 시퀀스를 압축한다. 복잡도 측정법은 부분 문자열의 빈도와 자기정보를 모두 고려하여 정보량을 추정하며, 이는 이전의 문법 복잡도 방법에 비해 압축 성능 향상과 더 나은 복잡도 추정을 달성한다.

ABSTRACT

The determination of block-entropies is a well established method for the investigation of discrete data, also called symbols (7). There is a large variety of such symbolic sequences, ranging from texts written in natural languages, computer programs, neural spike trains, and biosequences. In this paper a new algorithm to construct a short context-free grammar (also called program or description) that generates a given sequence is introduced. It follows the general lines of a former algorithm, employed to compress biosequences (1,2) and to estimate the complexity of neural spike trains (4), which uses as valuation function the, so called, grammar complexity (2). The new algorithm employs the (observed) block-entropies instead. A variant, which employs a corrected "observed entropy", as discussed in (7) is also described. To illustrate its usefulness, applications of the program to the syntactic analysis of a sample biological sequences (DNA and RNA) is presented.

연구 동기 및 목표

• 관측된 블록 엔트로피를 기반으로 문맥 자유 문법을 구성하여 기호 시퀀스를 압축하는 새로운 알고리즘을 개발하기 위해.
• 관측된 자기정보와 빈도를 복합 지표에 통합하여 시퀀스의 정보량을 추정하기 위해.
• 단말 기호와 비단말 기호의 정보 비용을 구분함으로써 이전의 문법 복잡도 방법을 개선하기 위해.
• 구문 분석을 통해 DNA 및 RNA와 같은 생물학적 시퀀스에서 구조적 패턴을 탐지할 수 있도록 방법의 유용성을 입증하기 위해.
• 다양한 분야에서 시퀀스 압축과 복잡도 추정을 위한 계산 효율적이고 확장 가능한 프로그램을 제공하기 위해.

제안 방법

• 알고리즘은 부분 문자열 길이가 1과 2인 경우에 대해 관측된 블록 엔트로피를 계산하여 자기정보를 추정한다. 공식은 I = log₂(kj/N)이며, kj는 단어의 빈도이고 N은 전체 시퀀스 길이다.
• 빈도가 freq_accept를 초과하는 길이 2의 부분 문자열 중 가장 빈도가 높은 것을 식별하고, 이를 새로운 비단말 기호(예: S0)로 모든 발생을 대체한다.
• 이 과정은 반복적으로 이루어지며, 더 긴 부분 문자열에 대해 반복적으로 반복 패턴을 대체함으로써, 더 이상 빈도 기준을 충족하는 패턴이 없을 때까지 진행된다.
• 압축 후, freq_accept 이하의 빈도를 가진 규칙는 제거되고, 각 단계에서 복잡도를 재계산하여 최소값을 찾는다.
• 최종 복잡도는 모든 규칙의 자기정보 값을 빈도와 구조에 따라 가중치를 적용하여 합산하여 계산한다.
• 프로그램은 Fortran77로 구현되었으며, 정수 형태로 시퀀스를 읽고, 최소 복잡도와 압축된 문법을 출력한다.

실험 결과

연구 질문

• RQ1 관측된 블록 엔트로피는 기호 시퀀스 압축을 위한 문맥 자유 문법 구축을 안내하는 데 효과적으로 사용될 수 있는가?
• RQ2 관측된 자기정보를 사용할 경우, 기존의 문법 복잡도 방법에 비해 시퀀스 정보량 추정이 어떻게 향상되는가?
• RQ3 이 엔트로피 기반 압축 방법을 사용할 경우 주어진 기호 시퀀스에서 도달 가능한 최소 복잡도는 얼마인가?
• RQ4 이 방법은 DNA 및 RNA와 같은 생물학적 시퀀스에서 구문 분석을 통해 구조적 패턴을 탐지할 수 있는가?
• RQ5 압축 및 복잡도 추정 측면에서 이 알고리즘의 성능은 이전의 문법 복잡도 방법과 비교해 어떻게 되는가?

주요 결과

• 이진 시퀀스 '11110000111100001111000011110000'에 대해 알고리즘은 최종 복잡도 11.2294를 기록하였고, 압축 길이는 4개의 기호로 축소되었다.
• 초기 복잡도는 32.0000이었으며, 6회의 반복 후 복잡도가 65% 이상 감소하여 강력한 압축 효율성을 입증하였다.
• 최종 문법 규칙 S4 → (1 1 1 1 0 0 0 0)의 자기정보는 0.807355였으며, 이는 4회 반복 발생하고도 낮은 정보 비용을 반영한다.
• 알고리즘은 '11'(S1), '00'(S0), 그리고 복합 구조인 'S1 S2'(S3)와 같은 반복 패턴을 성공적으로 식별하여 계층적 구조 탐지 능력을 보였다.
• 이 방법은 단말 기호와 비단말 기호의 자기정보가 다르다는 점을 고려하여 복잡도 계산에 반영함으로써, 이전의 문법 복잡도 접근법을 능가한다.
• 이 프로그램은 24MB RAM을 가진 Sun SPARCstation IPC에서 성공적으로 테스트되어, 보편적인 하드웨어 환경에서도 실행 가능함을 확인하였다.