[論文レビュー] Plug-in martingales for testing exchangeability on-line

Valentina Fedorova, Alex Gammerman+2 more|arXiv (Cornell University)|Apr 15, 2012

Data Stream Mining Techniques参考文献 7被引用数 36

ひとこと要約

本稿では、データ交換可能性のオンラインテストのためのプラグインマルティンガールを導入し、適合予測から得られるp値に合わせてベッティング関数を適応させる手法を提案する。これにより、分布シフトの検出が向上する。この手法は、固定ベッティングのパワー・マルティンガールを上回り、特に複雑なp値分布において顕著な性能向上を示し、Statlog Satelliteデータセットではパワー・マルティンガールが失敗する中で、最終的なマルティンガール値が1.8×10¹⁷に達する。

ABSTRACT

A standard assumption in machine learning is the exchangeability of data, which is equivalent to assuming that the examples are generated from the same probability distribution independently. This paper is devoted to testing the assumption of exchangeability on-line: the examples arrive one by one, and after receiving each example we would like to have a valid measure of the degree to which the assumption of exchangeability has been falsified. Such measures are provided by exchangeability martingales. We extend known techniques for constructing exchangeability martingales and show that our new method is competitive with the martingales introduced before. Finally we investigate the performance of our testing method on two benchmark datasets, USPS and Statlog Satellite data; for the former, the known techniques give satisfactory results, but for the latter our new more flexible method becomes necessary.

研究の動機と目的

• データストリームにおける順次到着する例に対して、交換可能性のオンラインテストをより柔軟に実行する手法の開発。
• p値の挙動に関する事前知識を仮定する固定ベッティング関数マルティンガールの限界を是正すること。
• 観測されたp値の系列に合わせてベッティング関数を適応させることで、分布シフトの検出を向上させること。
• 交換可能性のもとで、プラグイン手法が固定ベッティングマルティンガールよりも漸近的に優れた性能を達成することを示すこと。
• 従来の手法が非一様なp値分布の仮定に反するため失敗する実世界のデータセットにおいて、本手法の有効性を検証すること。

提案手法

• オンライン・モードで適合予測器から得られるp値の系列を用いて、交換可能性マルティンガールを構築する。
• 過去のp値から最適なベッティング戦略を推定するプラグイン・ベッティング関数を導入し、経験的分布に適応させる。
• 特定のパラメトリックな形を仮定しない非パラメトリックなベッティング関数の推定を用い、マルティンガールの成長を最大化する。
• 各ステップでプラグイン・ベッティング関数を適用し、マルティンガール値を更新する。交換可能性のもとでマルティンガールがスーパーマルティンガールの性質を保つようにする。
• 同じp値系列を用いて、プラグイン・マルティンガールを、既存の手法（パワー、シンプル・ミクスチャー、スリーピー・ジャンパー）と比較する。
• 最終的なマルティンガール値を検定統計量として用いる。20や100などの閾値を超える値は、交換可能性の帰無仮説の棄却を示す。

実験結果

リサーチクエスチョン

• RQ1 データに適応するベッティング関数は、固定ベッティング関数と比較して、交換可能性の違反検出を改善できるか？
• RQ2 非一様なp値分布を示すデータセットでは、プラグイン・マルティンガールは、標準のパワー・マルティンガールの仮定に反する場合にどのように性能を発揮するか？
• RQ3 交換可能性のもとで、マルティンガールの成長という観点から、プラグイン手法は固定ベッティングマルティンガールを漸近的に上回るか？
• RQ4 どのような状況で、プラグイン手法の高い柔軟性が分布シフトの検出に不可欠となるか？
• RQ5 既存のマルティンガール構築手法と比較して、プラグイン手法は同じp値系列からより多くの情報を抽出できるか？

主な発見

• USPSデータセットでは、プラグイン・マルティンガールとパワー・マルティンガールの両方が類似した最終マルティンガール値を達成しており、この状況では顕著な優位性は認められない。
• Statlog Satelliteデータセットでは、プラグイン・マルティンガールの最終値は1.8×10¹⁷であり、シンプル・ミクスチャー・マルティンガールはたったの5.6×10²にとどまる。これは顕著な性能向上を示している。
• プラグイン手法の柔軟性により、複数のピークを持つp値分布からの逸脱をよりよく捉えることができ、パワー・マルティンガールが効果的にモデル化できない点を補っている。
• Statlog Satelliteデータセットの最初の1000例でのテストでは、プラグイン・マルティンガールは3.74×10¹⁵に達する一方、シンプル・ミクスチャー・マルティンガールは0.013にとどまる。これは、初期の分布シフトに非常に感受性が高いことを示している。
• 交換可能性のもとで、最適なベッティング関数を適応的に推定できるため、プラグイン・マルティンガールは、すべての固定ベッティング・マルティンガールを漸近的に上回る期待成長率を達成する。
• p値が1に集中するような状況でも、交換可能性の違反を効果的に検出でき、従来の手法が小さなp値に依存するため失敗する状況でも成功している。