[論文レビュー] Finding Structure in Text, Genome and Other Symbolic Sequences

Ted Dunning|arXiv (Cornell University)|Jul 8, 2012

Fractal and DNA sequence analysis参考文献 119被引用数 4

ひとこと要約

1998年の博士論文は、テキストやDNAを含む記号列における構造的パターンを検出するための頑健な統計的枠組みとして、尤度比検定を導入している。この手法は、カイ二乗検定や相互情報量といった従来の手法よりも、コロケーションの同定、言語の違い、ゲノム構造の検出において優れた性能を示しており、特にデータが少ない状況下でも優れた正確性と信頼性を発揮する。情報検索およびバイオインフォマティクス分野の多様な応用において、広範にわたる効果を示している。

ABSTRACT

The statistical methods derived and described in this thesis provide new ways to elucidate the structural properties of text and other symbolic sequences. Generically, these methods allow detection of a difference in the frequency of a single feature, the detection of a difference between the frequencies of an ensemble of features and the attribution of the source of a text. These three abstract tasks suffice to solve problems in a wide variety of settings. Furthermore, the techniques described in this thesis can be extended to provide a wide range of additional tests beyond the ones described here. A variety of applications for these methods are examined in detail. These applications are drawn from the area of text analysis and genetic sequence analysis. The textually oriented tasks include finding interesting collocations and cooccurent phrases, language identification, and information retrieval. The biologically oriented tasks include species identification and the discovery of previously unreported long range structure in genes. In the applications reported here where direct comparison is possible, the performance of these new methods substantially exceeds the state of the art. Overall, the methods described here provide new and effective ways to analyse text and other symbolic sequences. Their particular strength is that they deal well with situations where relatively little data are available. Since these methods are abstract in nature, they can be applied in novel situations with relative ease.

研究の動機と目的

• テキストやDNAのような記号列における構造的パターンを検出する統計的に妥当な手法を開発すること。
• ピアソンのカイ二乗検定や相互情報量といった既存手法の限界、特にサンプル数が少なくまたはスパースなデータ状況下での課題を解決すること。
• 情報検索や遺伝子配列解析を含む多様な分野に適用可能な統一された枠組みを提供すること。
• コロケーションの検出、言語識別、文書検索、長距離にわたるゲノム構造の検出を向上させること。
• 過学習を最小限に抑え、スパースデータの文脈において一般化性能を高める柔軟で拡張可能な統計的手法を提供すること。

提案手法

• ネストされたモデルの比較に尤度比検定（LRT）を、記号列データのコア統計的手法として提案する。
• 二項分布、多項分布、マルコフモデルを用いて、期待される特徴頻度からの逸脱を検出する。
• 対数尤度比を用いて、語のペアやヌクレオチドパターンのような記号間の関連性の有意性を評価する。
• ホールドアウトスムージングとベイズ推定を統合し、スパースデータ状態でのパラメータ推定を改善する。
• 連関表を用いて共起頻度を表現し、LRTを用いて有意な関連性を検出する。
• 混合オーダーのマルコフモデルおよびMDLに基づく語彙構築への拡張により、モデルの柔軟性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 尤度比検定は、従来の統計的検定よりも、テキストやゲノム配列における顕著な共起パターンをより信頼性高く検出できるか？
• RQ2 ゲノム解析や言語解析で一般的なデータが少ない状況下において、LRT枠組みはどのように性能を発揮するか？
• RQ3 最先端の手法と比較して、LRTは言語識別および文書検索タスクの性能をどの程度向上できるか？
• RQ4 LRTは、遺伝子のイントロン領域において、従来検出されていなかった長距離の構造的パターンを明らかにできるか？
• RQ5 統計的パワーと頑健性の観点から、LRTは相互情報量やカイ二乗検定と比較してどの程度優れているか？

主な発見

• 尤度比検定は、テキストデータにおける顕著なコロケーションや共起の検出において、ピアソンのカイ二乗検定や相互情報量を顕著に上回った。
• 言語識別タスクにおいて、LRTに基づく手法は、N-gram法やランク順手法よりも高い正確性を達成しており、特に二か国語混在やリソースが限られた状況下で顕著であった。
• この手法は、従来報告のなかったイントロンにおける長距離の構造的パターンを効果的に検出でき、遺伝子配列における非ランダムな組織化を示唆した。
• 文書検索において、LRTに基づくアプローチは、用語選択およびクエリ生成において優れた性能を示した。特に外部評価データと組み合わせた場合に顕著であった。
• LRT枠組みは、スパースデータ状態でも頑健であり、従来の手法が失敗したり誤った結果を出力する状況でも高い統計的パワーを維持した。
• ゲノム配列へのLRTの応用により、従来の統計モデルでは検出できなかったイントロンにおける構造的組織が明らかになった。これは、潜在的な機能的意義を示唆している。