[論文レビュー] Estimating the unseen from multiple populations

Chiesa, Alessandro, Gur, Tom|arXiv (Cornell University)|Jul 12, 2017

Genomic variations and chromosomal abnormalities参考文献 9被引用数 5

ひとこと要約

本論文は、複数の集団にまたがる未観測要因を推定するための新規フレームワークを提案し、Good-Toulmin推定量を多集団設定に一般化する。集団数に依存しない精度を有する重み付き線形推定量を提案するとともに、ヒストグラムベースの最適化手法を用い、正確な外挿と予算を考慮したコhort設計を可能にし、ゲノム学およびその他の分野における発見効率を顕著に向上させる。

ABSTRACT

Distribution testing is an area of property testing that studies algorithms that receive few samples from a probability distribution D and decide whether D has a certain property or is far (in total variation distance) from all distributions with that property. Most natural properties of distributions, however, require a large number of samples to test, which motivates the question of whether there are natural settings wherein fewer samples suffice. We initiate a study of proofs of proximity for properties of distributions. In their basic form, these proof systems consist of a tester that not only has sample access to a distribution but also explicit access to a proof string that depends on the distribution. We refer to these as NP distribution testers, or MA distribution testers if the tester is a probabilistic algorithm. We also study the more general notion of IP distribution testers, in which the tester interacts with an all-powerful untrusted prover. We investigate the power and limitations of proofs of proximity for distributions and chart a landscape that, surprisingly, is significantly different from that of proofs of proximity for functions. Our main results include showing that MA distribution testers can be quadratically stronger than standard distribution testers, but no stronger than that; in contrast, IP distribution testers can be exponentially stronger than standard distribution testers, but when restricted to public coins they can be at best quadratically stronger.

研究の動機と目的

• 複数の異なる集団から得られるデータにおける未観測要因推定のギャップを埋める。
• 追加の個人をサンプリングした際に、すべての集団にわたる新しい要因の期待数を推定する手法を開発する。
• 新しい要因の発見を最大化するために、集団間でサンプリング予算を最適に配分することを可能にする。
• 多集団における連合周波数分布を推定する一般化されたフレームワークを提供し、多様な統計的予測を支援する。

提案手法

• 外挿後に複数の集団にわたる新しい要因の総数を推定するための重み付き線形推定量 $ \hat{U}^W $ を提案する。
• 推定量の精度が集団数 $ m $ に依存しないことを証明し、最適な非線形上昇率を達成することを示す。
• 制約付き最適化を用いたヒストグラム推定法（$ \hat{H}_{\text{count}} $ および $ \hat{H}_{\text{ll}} $ を使用）を導入し、集団間の連合周波数分布を回復する。
• 観測された周波数カウントと整合性を持たせるとともに、一様事前分布からの逸脱を最小化する凸最適化問題としてヒストグラム推定を定式化する。
• 推定されたヒストグラムを用いて、少なくとも2回以上観測される新しい要因の数や、最大3回まで観測される要因の数といった未観測統計量を予測する。
• ヒストグラム推定量を用いて、固定されたサンプリング予算下での最適なサンプリング配分を最適化し、期待される新しい要因の発見数を最大化する。

実験結果

リサーチクエスチョン

• RQ1 異なる分布を持つ複数の集団にまたがる未観測要因を推定するため、Good-Toulmin推定量をどのように一般化できるか。
• RQ2 このような推定量の理論的精度は何か。また、集団数に依存するか。
• RQ3 多集団における完全な連合周波数分布を推定することで、より包括的な統計的予測を可能にすることができるか。
• RQ4 新しい要因の発見を最大化するために、固定されたサンプリング予算を複数の集団にどのように最適に配分できるか。
• RQ5 高外挿状況において、ヒストグラムベースの推定法は線形推定量をどの程度上回るか。

主な発見

• 提案された重み付き線形推定量 $ \hat{U}^W $ は、集団数 $ m $ に依存しない精度を達成し、最悪ケースにおいても最適である。
• 外挿要因が10未満の範囲では、一様分布、ディリクレ分布、幾何分布のいずれに対しても、重み付き線形推定量は平均二乗誤差が0.08〜0.09の範囲に収束した。
• ヒストグラム推定量 $ \hat{H}_{\text{count}} $ および $ \hat{H}_{\text{ll}} $ は、経験的ヒストグラムおよび線形推定量に比べ、低サンプル状態で顕著に優れた性能を示した。
• 合成データにおいて、$ \hat{H}_{\text{count}} $ および $ \hat{H}_{\text{ll}} $ は、バランス型およびスケーリング型の両方のサンプリング分布下で、未観測要因の予測においてほぼ完璧な精度を達成した。
• 実際のヒトゲノムデータにおいて、$ \hat{H}_{\text{count}} $ を用いた予算配分により、均等または偏った配分と比較して、新たに発見される変異の数が10%増加した。
• ヒストグラムベースの手法は、新しいサンプルに少なくとも2回以上現れる新しい変異の数を正確に予測でき、単なる未観測要因の数の推定を超えた実用的価値を示した。