[論文レビュー] Why Adaptively Collected Data Have Negative Bias and How to Correct for It

Xinkun Nie, Xiaoying Tian+2 more|arXiv (Cornell University)|Aug 7, 2017

Advanced Bandit Algorithms Research参考文献 20被引用数 23

ひとこと要約

この論文は、臨床試験、A/Bテスト、バンディットアルゴリズムで一般的に見られる、適応的収集データが、標本平均における負のバイアスによって真の治療効果を系統的に低く見積もることを証明している。本稿では、選択的インファレンスを用いた、新しい条件付き最尤推定法（cMLE）を提案し、このバイアスを是正する。cMLEは、データ分割法よりもバイアスと平均二乗誤差（MSE）の両面で優れている。

ABSTRACT

From scientific experiments to online A/B testing, the previously observed data often affects how future experiments are performed, which in turn affects which data will be collected. Such adaptivity introduces complex correlations between the data and the collection procedure. In this paper, we prove that when the data collection procedure satisfies natural conditions, then sample means of the data have systematic \emph{negative} biases. As an example, consider an adaptive clinical trial where additional data points are more likely to be tested for treatments that show initial promise. Our surprising result implies that the average observed treatment effects would underestimate the true effects of each treatment. We quantitatively analyze the magnitude and behavior of this negative bias in a variety of settings. We also propose a novel debiasing algorithm based on selective inference techniques. In experiments, our method can effectively reduce bias and estimation error.

研究の動機と目的

• 適応的データ収集が自然な条件下で標本平均に系統的な負のバイアスをもたらすことを厳密に証明すること。
• この負のバイアスの大きさと挙動が、異なる適応的アルゴリズムや設定においてどのように変化するかを定量化すること。
• 再収集を必要とせずにこのバイアスを是正するためのデバイアス化手法を開発すること。
• cMLE法が、データ分割法や傾向スコアマッチングといった既存手法と比較して、バイアスと推定誤差の両面でどのように性能を発揮するかを検証すること。
• cMLEが、複数の適応的データ収集手順において、バイアスと平均二乗誤差（MSE）の両方を効果的に低減できることを検証すること。

提案手法

• 適応的データ収集を、$ s_t = f(\text{history up to } t) $ として形式化し、分布の選択が過去の観測に依存することを定義する。
• 負のバイアスが生じることを証明する2つの重要な条件（ExploitとIIO（不関係な結果の独立性））を定義する。
• 選択的インファレンス技術を用いた、確率的条件付き最尤推定法（cMLE）を提案し、選択バイアスを是正する。
• 選択イベントを条件として推定することで、適応的データ収集の下でも有効な推論を保証する。
• cMLEにノイズ注入機構を導入し、推定子が計算的に実行可能かつ一貫性を保つようにする。
• 複数のアルゴリズム（Greedy, ε-Greedy, Thompson Sampling）において、cMLEをデータ分割（ホールドアウトセットの使用）および傾向スコアマッチングと比較し、バイアスとMSEの観点から評価する。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で、適応的データ収集が標本平均推定子に負のバイアスをもたらすか？
• RQ2 異なる適応的アルゴリズム（例：Greedy, ε-Greedy, Thompson Sampling）および標本サイズにおいて、負のバイアスの大きさはどのように変化するか？
• RQ3 Greedy, ε-Greedy, Thompson Sampling, など、適応的データ収集手順において、選択的インファレンスに基づく手法（cMLE）が、新たなデータ収集を要せず、バイアスを効果的に低減できるか？
• RQ4 有限標本設定において、cMLEはデータ分割法および傾向スコアマッチングと比較して、バイアスと平均二乗誤差（MSE）の両面でどのように性能を発揮するか？
• RQ5 データ収集ラウンド数 $ T $ が増加する際、cMLEのバイアスとMSEの漸近的挙動はいかなるものか？

主な発見

• 本稿は、ExploitおよびIIOの条件下で、適応的収集データの標本平均が系統的に負のバイアスを示すことを証明した。これは、真の治療効果を低く見積もることを意味する。
• T = 1000 のGreedyアルゴリズムにおいて、cMLEはバイアスを -0.21（K=5）から元のバイアスの1.0%まで低減し、ほぼ完全に系統的な低く見積もられることを是正した。
• MSEの観点からも、cMLEはK=5のとき元のMSEの1.1%まで低減し、データ分割法（94.9%）を上回る効率性を示した。
• データ分割法はバイアスのない推定を得られるが、有効標本サイズが半分になるため、高い分散を示し、結果としてMSEが高くなる。
• 傾向スコアマッチングはバイアスがなく、cMLEより数倍も高いMSEを示すため、推定においてはcMLEに劣る。
• cMLEは漸近的に一貫性を示すため、$ T \to \infty $ のとき、バイアスとMSEはゼロに収束する。これは、理論的整合性を確認するものである。