[論文レビュー] On Correlation Detection and Alignment Recovery of Gaussian Databases

Ran Tamir|arXiv (Cornell University)|Nov 2, 2022

Data Quality and Management被引用数 5

ひとこと要約

本稿では、未知の行順列がかかるガウス型データベースにおける連関検出と部分的アラインメント回復のための2段階アルゴリズムを提案する。型I誤り確率を制御するための新しいグラフ理論的アプローチを導入し、従来の検出器よりも優れた性能を達成する。この手法により、アラインメントサイズと誤り確率の間で調整可能な信頼性の高い部分的アラインメント推定が可能となる。

ABSTRACT

In this work, we propose an efficient two-stage algorithm solving a joint problem of correlation detection and partial alignment recovery between two Gaussian databases. Correlation detection is a hypothesis testing problem; under the null hypothesis, the databases are independent, and under the alternate hypothesis, they are correlated, under an unknown row permutation. We develop bounds on the type-I and type-II error probabilities, and show that the analyzed detector performs better than a recently proposed detector, at least for some specific parameter choices. Since the proposed detector relies on a statistic, which is a sum of dependent indicator random variables, then in order to bound the type-I probability of error, we develop a novel graph-theoretic technique for bounding the $k$-th order moments of such statistics. When the databases are accepted as correlated, the algorithm also recovers some partial alignment between the given databases. We also propose two more algorithms: (i) One more algorithm for partial alignment recovery, whose reliability and computational complexity are both higher than those of the first proposed algorithm. (ii) An algorithm for full alignment recovery, which has a reduced amount of calculations and a not much lower error probability, when compared to the optimal recovery procedure.

研究の動機と目的

• 未知の行順列がかかるガウス型データベースにおける連関検出と部分的アラインメント回復の統合的問題に対処すること。
• 既存の手法よりも誤り確率バウンディングを改善した計算効率の高い検出器を開発すること。
• 部分的回復におけるアラインメントサイズと誤り確率の間の調整可能なトレードオフを可能にすること。
• 最適な最尤推定と比較して複雑度を低減した完全アラインメント回復アルゴリズムを提案すること。
• 新しいグラフ理論的モーメントバウンディング技術を用いて、型Iおよび型II誤り確率の理論的バウンディングを確立すること。

提案手法

• 2段階アルゴリズムを採用：まず、すべてのn²組のシーケンスペアに対して局所的意思決定に基づく連関検出を行う。
• 帰無仮説（独立なデータベース）と対立仮説（未知の順列を伴う相関あり）の区別に、弱く従属する指標確率変数の和として構成されるグローバル検定統計量を用いる。
• 和統計量のk次のモーメントをバウンディングするための新しいグラフ理論的技術を導入し、型I誤り確率の厳密な解析を可能にする。
• 相関が検出された場合、同じ局所的意思決定を基盤として部分的アラインメントを推定する。
• 誤り確率をより低く抑えるために、より高い複雑度を持つ2番目の部分的アラインメント回復アルゴリズムを提案する。
• 最適な最尤推定器に近い誤り確率を維持しながら、計算複雑度を低減した完全アラインメント回復アルゴリズムを開発する。

実験結果

リサーチクエスチョン

• RQ1 連関検出と部分的アラインメント回復を統合的に処理するフレームワークは、分離処理と比較して誤り確率と計算効率の面で優れているか？
• RQ2 検定統計量が弱く従属する指標の和である場合、型I誤りをタイトにバウンディングする方法は何か？
• RQ3 推定された部分的アラインメントのサイズと誤り確率の間のトレードオフはいかなるものか？
• RQ4 検出に用いられた局所的意思決定を、アラインメント回復に再利用することは効果的か？
• RQ5 有限なnおよびdに対して、本稿で提案する検出器は[2]で最近提案された検出器と比較してどの程度の性能を示すか？

主な発見

• 特定のパrameter設定下で、[2]の検出器と比較して型Iおよび型II誤り確率が低くなることが示され、優れた性能を発揮する。
• 新規のグラフ理論的モーメントバウンディング技術により、従属する指標の和の厳密な解析が可能となり、型I誤り制御にとって不可欠である。
• 最初の部分的アラインメント回復アルゴリズムはnに関して2次の計算複雑度を示し、アラインメントサイズと誤り確率の間で調整可能なトレードオフを持つ。
• 2番目の部分的アラインメント回復アルゴリズムは3次複雑度を示すが、最初のものと比較して著しく低い誤り確率を達成する。
• 完全アラインメント回復アルゴリズムは、最適な最尤推定器と比較して計算複雑度を低減しつつ、誤り確率は最適に近い水準を維持する。
• シミュレーションにより、実用的状況下で完全アラインメントアルゴリズムの誤り確率は最適推定器とほとんど差がないことが示された。