[論文レビュー] The Everlasting Database: Statistical Validity at a Fair Price

Blake Woodworth, Vitaly Feldman+2 more|arXiv (Cornell University)|Jan 1, 2018

Data Management and Algorithms被引用数 2

ひとこと要約

この論文は、クエリ手数を課金し、その収益を追加の標本収集に使うことで、統計的妥当性の保証を伴う、適応的統計的クエリへの応答メカニズムを提案する。非適応的クエリではO(log M)、適応的クエリではO(√M)のコストで高確率の妥当性を保証し、クエリ生成に関する仮定を一切不要とする。

ABSTRACT

The problem of handling adaptivity in data analysis, intentional or not, permeates a variety of fields, including test-set overfitting in ML challenges and the accumulation of invalid scientific discoveries. We propose a mechanism for answering an arbitrarily long sequence of potentially adaptive statistical queries, by charging a price for each query and using the proceeds to collect additional samples. Crucially, we guarantee statistical validity without any assumptions on how the queries are generated. We also ensure with high probability that the cost for $M$ non-adaptive queries is $O(\log M)$, while the cost to a potentially adaptive user who makes $M$ queries that do not depend on any others is $O(\sqrt{M})$.

研究の動機と目的

• 繰り返しのクエリによる過学習のため結果が無効化される可能性がある、適応的データ解析における統計的妥当性の問題に対処すること。
• クエリ生成に関する仮定を排除し、クエリが適応的か非適応的かにかかわらず妥当性を保証すること。
• クエリ数に応じて滑らかにスケーリングされ、計算および標本抽出のオーバーヘッドを最小限に抑えるコスト効率の良いメカニズムを設計すること。

提案手法

• クエリの複雑さとデータ妥当性への潜在的影響に基づき、各統計的クエリに金銭的価格を付与する。
• クエリ手数の収益を一括し、追加の独立した標本を収集するために使用し、時間経過とともにデータの有用性を向上させる。
• マーティングルに基づく解析により、無効な結果の発生確率を制限することで、統計的妥当性を保証する。
• 集中不等式を用いて、複数のクエリにわたる過学習のリスクを制御する。
• 非適応的クエリではO(log M)、適応的クエリではO(√M)のスケーリングに適合する価格戦略を設計する。
• クエリパターンの事前知識が不要であるため、任意の適応的行動に対しても頑健である。

実験結果

リサーチクエスチョン

• RQ1 クエリ生成に関する仮定なしに、無制限の適応的クエリ列において統計的妥当性を維持できるメカニズムを設計できるか？
• RQ2 適応的クエリにおいて統計的妥当性を保証するために必要な最小コスト成長は何か？
• RQ3 クエリ手数の収益をどのようにして動的に追加標本の収集に活用し、データ整合性を維持できるか？
• RQ4 クエリ数に対して非線形に増加するコストを維持しつつ、高確率の妥当性を保証できるか？
• RQ5 クエリが以前の回答に依存する場合に、妥当性についてどのような理論的保証を提供できるか？

主な発見

• メカニズムは、クエリがどのように生成され、適応的か非適応的かにかかわらず、高確率で統計的妥当性を保証する。
• M個の非適応的クエリに対して、総コストはO(log M)であり、効率的なスケーリングが保証される。
• M個の適応的クエリ（過去の結果に依存しないもの）に対してはコストがO(√M)であり、依然として効率的かつ非線形的である。
• システムはクエリ手数の収益を動的に活用して追加の標本を収集し、時間経過とともにデータ品質を向上させる。
• データ分布やクエリ順序に関する仮定を必要とせず、妥当性を保証する。
• 理論的解析は、マーティングルと集中の議論に依拠し、無効な結果のリスクを制限する。