[論文レビュー] SYNTAX: A computer program to compress a sequence and to estimate its information content

Miguel A. Jiménez-Montaño, W. Ebeling+1 more|arXiv (Cornell University)|Apr 5, 2002

Fractal and DNA sequence analysis参考文献 5被引用数 6

ひとこと要約

この論文は、観測されたブロックエントロピーを用いて規則作成をガイドするFortranベースのアルゴリズム、SYNTAXを紹介する。この手法は、繰り返し現れる部分列を非終端記号に置き換えることで、記号列を圧縮する。情報量の推定には、部分列の頻度と自己情報量の両方を考慮した複雑さ測度を用い、従来の文法的複雑さ手法に比べて顕著な圧縮効果と改善された複雑さ推定を達成する。

ABSTRACT

The determination of block-entropies is a well established method for the investigation of discrete data, also called symbols (7). There is a large variety of such symbolic sequences, ranging from texts written in natural languages, computer programs, neural spike trains, and biosequences. In this paper a new algorithm to construct a short context-free grammar (also called program or description) that generates a given sequence is introduced. It follows the general lines of a former algorithm, employed to compress biosequences (1,2) and to estimate the complexity of neural spike trains (4), which uses as valuation function the, so called, grammar complexity (2). The new algorithm employs the (observed) block-entropies instead. A variant, which employs a corrected "observed entropy", as discussed in (7) is also described. To illustrate its usefulness, applications of the program to the syntactic analysis of a sample biological sequences (DNA and RNA) is presented.

研究の動機と目的

• 観測されたブロックエントロピーに基づいて文法を構築することで、記号列を圧縮する新しいアルゴリズムを開発すること。
• 観測された自己情報量と頻度を統合した複雑さ測度を用いて、シーケンスの情報量を推定すること。
• 終端記号と非終端記号の情報コストの違いを考慮することで、従来の文法的複雑さ手法を改善すること。
• 構文的解析を用いて、バイナリおよび生物学的シーケンス（DNA/RNA）における構造的パターンを同定すること。
• さまざまな分野におけるシーケンス圧縮と複雑さ推定に適した計算効率が高く拡張性のあるプログラムを提供すること。

提案手法

• 部分列の長さ1および2について観測されたブロックエントロピーを計算し、自己情報量を次の式で推定する：I = log₂(kj/N)，ここでkjは語の頻度、Nは全シーケンス長である。
• 長さ2の部分列の中で最も頻度が高いもの（頻度 > freq_accept）を特定し、そのすべての出現を新しい非終端記号（例：S0）に置き換える。
• 繰り返し、より長い部分列に対して処理を繰り返し、繰り返しパターンが頻度閾値を満たす限り、最長の繰り返しパターンを置き換える。
• 圧縮後、頻度が freq_accept 未満の規則は削除され、各段階で複雑さを再計算し、最小値を求める。
• 最終的な複雑さは、すべての規則の自己情報量の合計であり、頻度と構造に重みを付けて計算される。
• プログラムはFortran77で実装され、整数としてシーケンスを読み込み、最小複雑さと圧縮された文法を出力する。

実験結果

リサーチクエスチョン

• RQ1 観測されたブロックエントロピーは、シーケンス圧縮のための文脈自由文法の構築を効果的にガイドできるか？
• RQ2 観測された自己情報量を用いることで、従来の文法的複雑さと比較して、シーケンスの情報量推定がどのように改善されるか？
• RQ3 このエントロピー誘導圧縮手法を用いることで、与えられた記号列の最小複雑さはどの程度達成可能か？
• RQ4 この手法は、構文的解析を用いて、DNA や RNA のような生物学的シーケンスにおける構造的パターンを検出できるか？
• RQ5 圧縮効率と複雑さ推定の観点から、このアルゴリズムは従来の文法的複雑さ手法と比較してどのように性能を発揮するか？

主な発見

• バイナリシーケンス '11110000111100001111000011110000' に対して、アルゴリズムは最終的に複雑さ11.2294、圧縮長4記号を達成した。
• 初期の複雑さは32.0000であり、6回の反復後に65％以上も低下しており、顕著な圧縮効率を示した。
• 最終的な文法規則 S4 → (1 1 1 1 0 0 0 0) の自己情報量は0.807355であり、4回の出現という高い頻度と低い情報コストを反映している。
• アルゴリズムは '11'（S1）、'00'（S0）、および 'S1 S2'（S3）のような複合構造など、繰り返しパターンを効果的に同定し、階層的構造の検出に成功した。
• この手法は、複雑さ計算において終端記号と非終端記号の自己情報量の違いを考慮することで、従来の文法的複雑さアプローチを上回っている。
• プログラムは24 MB RAMを搭載したSun SPARCstation IPCで正常にテストされ、中程度のハードウェアでも実行可能であることが確認された。