[論文レビュー] Between Resolution Collapse and Variance Inflation: Weighted Conformal Anomaly Detection in Low-Data Regimes

Oliver Hennhöfer, Christine Preisach|arXiv (Cornell University)|Mar 24, 2026

Anomaly Detection Techniques and Applications被引用数 0

ひとこと要約

この論文は共変量シフト下の重み付き適合外観検出における本質的なトレードオフを明らかにする：局所適応を強化するとp値の分解能が向上する一方で分散が増大し、適応と尾部の分解能をデカップリングする連続KDEベースの推論を提案する。

ABSTRACT

Standard conformal anomaly detection provides marginal finite-sample guarantees under the assumption of exchangeability . However, real-world data often exhibit distribution shifts, necessitating a weighted conformal approach to adapt to local non-stationarity. We show that this adaptation induces a critical trade-off between the minimum attainable p-value and its stability. As importance weights localize to relevant calibration instances, the effective sample size decreases. This can render standard conformal p-values overly conservative for effective error control, while the smoothing technique used to mitigate this issue introduces conditional variance, potentially masking anomalies. We propose a continuous inference relaxation that resolves this dilemma by decoupling local adaptation from tail resolution via continuous weighted kernel density estimation. While relaxing finite-sample exactness to asymptotic validity, our method eliminates Monte Carlo variability and recovers the statistical power lost to discretization. Empirical evaluations confirm that our approach not only restores detection capabilities where discrete baselines yield zero discoveries, but outperforms standard methods in statistical power while maintaining valid marginal error control in practice.

研究の動機と目的

• 共変量シフト下の重み付き適合外観検出における解像度–分散ジレンマの動機付けと形式化。
• ウェイト局在化が有効サンプルサイズとp値の安定性に与える影響を特徴づける。
• 尾部分解能と局所適応をデカップリングするための重み付きカーネル密度推定法（weighted KDE）を用いた連続推論アプローチを提案。
• 低データ時の限界での漸近的妥当性と実践的評価に関する理論的洞察を提供。

提案手法

• 重み付きCADの二つの失敗モードを定式化する：決定論的p値の解像度崩壊と乱数化p値の分散膨張。
• 重み付きKDEを用いて重み付きスコア密度を推定し、連続右尾p値を構築することで連続推論の緩和を導入。
• 分類器を用いた密度比のトリックによって共変量シフトのウェイトを推定し、極端な重みを緩和するウィンサリゼーションを適用。
• 校正済みスコア分布を近似するために重み付きKDEを使用し、モンテカルロノイズのない決定論的・連続p値を得る。
• 連続p値を複数の多重検定フレームワークと統合し、有限サンプル適合保証の制約とWCSプリューニング時の実践的性能を議論。
• 提案されたKDEベースのp値に関する漸近的一貫性結果（定理1）を標準的な正則性条件下で示す。

実験結果

リサーチクエスチョン

• RQ1 共変量シフト下での重要度ウェイトによる局所化は、達成可能な最小p値と conformal p値の安定性にどのような影響を与えるか？
• RQ2 連続的な重み付きKDEベースの推論は局所適応と尾部分解能をデカップリングして、低データ時の検出力を改善しつつ周辺誤差制御を犠牲にしないか？
• RQ3 分布シフト下の重み付き適合外観検出における有限サンプル妥当性・安定性・分解能のトレードオフは何か？
• RQ4 提案手法はデターミニスティックおよびランダム基準と比較して、偽発見率制御と統計的検出力の点でどのように評価されるか？（ベンチマークで）

主な発見

• 重み付き適合外観検出には解像度–分散ジレンマが存在する：離散化は解像度の下限を作り出し発見を妨げる一方、乱数化は下限を取り除くが分散を導入して異常を覆い隠すことがある。
• 連続的な重み付きKDEベースのp値は離散化の下限を回避しモンテカルロノイズを排除するため、低データ時の検出力を向上させる。
• 共変量シフト適応は有効サンプルサイズを減少させ、EDFベースの手法の検出力を大幅に低下させる可能性がある。一方でKDEベースのp値は再現性を保ちつつ適合サイズからの拒否をデカップリングして検出力を維持する。
• 漸近的には、提案フレームワーク下でKDEベースのp値は周辺的妥当性を達成するが、WCS の代理指標として有限サンプルの conformal保証を継承するとは限らない。
• 実証評価では、KDEベースの方法が離散的なベースラインがゼロとなる発見を回復し、パワーでランダム基準を上回りつつ実用的な誤差制御を維持することを示唆する。