[論文レビュー] PAPRIKA: Private Online False Discovery Rate Control

Wanrong Zhang, Gautam Kamath+1 more|arXiv (Cornell University)|Feb 27, 2020

Privacy-Preserving Technologies in Data参考文献 14被引用数 4

ひとこと要約

PAPRIKAは、個々のデータポイントの差分プライバシーを保証しながら、多重仮説検定における誤り発見率（FDR）を制御する、新しい差分プライベートなオンラインアルゴリズムを導入する。リアルタイムでの意思決定を可能にし、強力なプライバシーと統計的保証を提供する。プライベートなしきい値設定と適応的ウェルス管理を組み合わせることで、ナイーブなプライベート化手法に比べて、ε-差分プライバシー下でFDR制御と統計的パワーの両面で顕著に優れた性能を達成する。

ABSTRACT

In hypothesis testing, a false discovery occurs when a hypothesis is incorrectly rejected due to noise in the sample. When adaptively testing multiple hypotheses, the probability of a false discovery increases as more tests are performed. Thus the problem of False Discovery Rate (FDR) control is to find a procedure for testing multiple hypotheses that accounts for this effect in determining the set of hypotheses to reject. The goal is to minimize the number (or fraction) of false discoveries, while maintaining a high true positive rate (i.e., correct discoveries). In this work, we study False Discovery Rate (FDR) control in multiple hypothesis testing under the constraint of differential privacy for the sample. Unlike previous work in this direction, we focus on the online setting, meaning that a decision about each hypothesis must be made immediately after the test is performed, rather than waiting for the output of all tests as in the offline setting. We provide new private algorithms based on state-of-the-art results in non-private online FDR control. Our algorithms have strong provable guarantees for privacy and statistical performance as measured by FDR and power. We also provide experimental results to demonstrate the efficacy of our algorithms in a variety of data environments.

研究の動機と目的

• 個々のデータポイントの差分プライバシーを保証しながら、オンライン多重仮説検定における誤り発見率（FDR）を制御する課題に対処すること。
• 仮説が逐次的にテストされ、即時の意思決定が求められる状況においても、高い統計的パワーと強力なFDR制御を維持できるプライベートなオンラインアルゴリズムを設計すること。
• すべてのp値を事前に必要とする従来のオフラインプライベートFDR手法の制限を克服し、ストリーミングまたは適応的データ分析の文脈では現実的でない状況を想定すること。
• オンライン設定において、プライバシー（ε-差分プライバシー）と統計的パフォーマンス（FDRとパワー）の両方について、証明可能な保証を提供すること。
• ベルヌーイ分布および切断指数分布モデルを含む多様なデータ分布において、アルゴリズムの頑健性と正確性を実証的に検証すること。

提案手法

• ReportNoisyMinメカニズムとプライベートなしきい値設定戦略を用いて、差分プライバシーを組み込んだ非プライベートなオンラインFDR手順（例：SAFFRON）を拡張する。
• 蓄積されたプライバシー損失と観測されたp値に基づいて、動的に再帰的しきい値を調整するプライベートなウェルスベースメカニズムを導入する。
• プライベートなしきい値設定プロセスのキャリブレーションのため、シフトパラメータAを導入し、FDR制御と統計的パワーのバランスをとる。
• ノイズののったp値が、一連のプライベート比較を通じて処理され、再帰の決定がなされる、プライベート版ベンジャミニ＝ホッケンバーグ手順を用いる。
• 理論的分析により、期待されるFDRがα + δt以下であることが保証され、FDRが目標レベル内に保たれることを示す。
• 後処理不変性と高度な合成定理を適用することで、逐次クエリ間でのプライバシーを維持する。

実験結果

リサーチクエスチョン

• RQ1 個々のデータポイントのプライバシーを保証しながら、強力な統計的パフォーマンスを維持する差分プライベートなオンラインFDR制御アルゴリズムを設計できるか？
• RQ2 差分プライバシー下で、非プライベートおよびナイーブにプライベート化されたベースラインと比較して、プライベートなオンラインFDR制御のパフォーマンス（FDRとパワー）はどのように異なるか？
• RQ3 シフトパラメータAが、プライベートなオンライン設定におけるFDR制御と統計的パワーのトレードオフに与える影響は何か？
• RQ4 ベルヌーイ分布および切断指数分布のような実世界のデータ分布に対し、プライベートなオンラインFDR制御を効果的に適用できるか？
• RQ5 プライベートなしきい値設定とウェルスマネジメントメカニズムは、p値にラプラスノイズを追加するナイーブなプライベート化（例：LapSAFFRON）と比較して、FDRとパワーの両面でどのように異なるか？

主な発見

• PAPRIKAは、目標レベルα内でのFDR制御を達成し、実験的FDRがα + δtで有界であることが確認され、強力な理論的プライバシー保証を示している。
• ベルヌーイ分布および切断指数分布の実験において、PAPRIKAは強信号下で最大80％の高い統計的パワーを維持しながら、ε=5の場合にFDRを5％未満に保っている。
• LapSAFFRON（SAFFRONのナイーブなラプラスノイズによるプライベート化）に比べ、特に弱信号（θi=1.90）下で、FDR制御とパワーの両面で顕著に優れた性能を示している。
• シフトパラメータs（Aに関連）の選択は、FDRとパワーのトレードオフに顕著な影響を与える：sの値を大きくすると再帰が減少し、FDRは改善されるがパワーは低下する。
• PAPRIKAにおけるウェルスと再帰しきい値の推移は、非プライベートなSAFFRONと密接に一致しており、プライベートな意思決定が最適な非プライベート意思決定と一致していることを確認している。
• 固定λj=0.2のPAPRIKAと比較して、適応的λj=αjを用いるPAPRIKA AIは、特に高信号領域（θi=2.00）で優れたパフォーマンスを示している。