[論文レビュー] Feature Shift Detection: Localizing Which Features Have Shifted via Conditional Distribution Tests

Sean Kulinski, Saurabh Bagchi+1 more|arXiv (Cornell University)|Jul 14, 2021

Time Series Analysis and Forecasting被引用数 9

ひとこと要約

本稿では、密度モデルの勾配から導出されたスコアベースの検定統計量を用いて、条件付き分布の仮説検定を実行することにより、多次元センサデータにおける分布シフトの検出および局所化を実現する新規手法を提案する。この手法により、1回の順伝播および逆伝播で全特徴量に対して同時に効率的な検定が可能となり、相関のある敵対的攻撃の検出および特徴量レベルでの局所化において、最先端の性能を達成する。これは、相互情報量が低く、自然なデータシフトが生じる状況下でも同様に有効である。

ABSTRACT

While previous distribution shift detection approaches can identify if a shift has occurred, these approaches cannot localize which specific features have caused a distribution shift -- a critical step in diagnosing or fixing any underlying issue. For example, in military sensor networks, users will want to detect when one or more of the sensors has been compromised, and critically, they will want to know which specific sensors might be compromised. Thus, we first define a formalization of this problem as multiple conditional distribution hypothesis tests and propose both non-parametric and parametric statistical tests. For both efficiency and flexibility, we then propose to use a test statistic based on the density model score function (i.e. gradient with respect to the input) -- which can easily compute test statistics for all dimensions in a single forward and backward pass. Any density model could be used for computing the necessary statistics including deep density models such as normalizing flows or autoregressive models. We additionally develop methods for identifying when and where a shift occurs in multivariate time-series data and show results for multiple scenarios using realistic attack models on both simulated and real world data.

研究の動機と目的

• 既存の分布シフト検出手法には、特定の特徴量（例：センサ）がシフトしたかを局所化できないという重要なギャップがあるため、これを解消すること。
• 相関する敵対的攻撃の検出を向上させるために、特徴量シフト検出の問題を複数の条件付き分布仮説検定として形式化すること。
• 密度モデルを1回の順伝播・逆伝播で全特徴量に対して同時に検定できる、効率的でスケーラブルな検定統計量を開発すること。
• 動的センサネットワークにおける攻撃の発生時刻と発生位置を特定できるように、時系列データへの拡張を図ること。
• 現実的な敵対的モデル（自然なデータシフトを含む）下で、実世界およびシミュレーテッドデータセットにおいても高い頑健性を示す性能を実証すること。

提案手法

• スコアベースの検定統計量は、フィッシャー分散に基づき、入力に関する対数密度の勾配として計算され、全特徴量に対して同時に効率的な計算が可能となる。
• 任意の微分可能密度モデル（正規化フローおよび自己回帰モデルを含む）を用いて統計量を計算でき、既存のモデル勾配を活用することで、計算オーバーヘッドを低減する。
• 他の特徴量の値を条件とした特定特徴量の分布シフトを検出するための条件付き分布仮説検定を定式化し、相関する攻撃に対する感度を向上させる。
• 時系列データに対しては、時間依存性をモデル化し、敵対的シフトと自然なデータドリフトを区別するために、時間に配慮したブートストラップ法を採用する。
• 非パラメトリックおよびパラメトリックな統計的検定フレームワークの両方をサポートしており、モデルの仮定に柔軟性をもたせる。
• オンライン導入を想定しており、最小限の計算コストで各時刻におけるリアルタイム検出が可能である。

実験結果

リサーチクエスチョン

• RQ1 多次元センサデータにおける分布シフトを検出し、攻撃者が操作した特定の特徴量を局所化できるか？
• RQ2 周辺分布は一致するが、結合依存性が破壊される敵対的攻撃の検出において、条件付き分布検定は性能を向上させられるか？
• RQ3 精度を損なわせることなく、全特徴量に対して同時にシフト検出統計量を計算する効率性はどの程度か？
• RQ4 特徴量間の相互情報量が低い状況下でも、提案されたスコアベースの検定統計量は高い性能を維持できるか？
• RQ5 現実の時系列センサデータに一般的に見られる自然なデータシフトが存在する状況下で、この手法はどの程度の性能を示すか？

主な発見

• スコアベースの検定統計量は、評価したすべてのデータセットにおいて、シフト検出および局所化の両面で最先端の性能を達成し、ガウスベースのベースラインを上回った。
• 個々のセンサ読み取り値が通常値に近いように見えても、結合分布シフトに敏感であるため、シミュレーテッドセンサネットワークにおける敵対的攻撃を効果的に検出できた。
• エネルギーおよびガスデータセットでは、時系列軸をシャッフルしない状態でも、高い検出精度および局所化精度を維持した。これは、時間順序の再配置に対しても頑健であることを示している。
• COVID-19データセットでは、強い健全なシフトが存在したため、時間に配慮したブートストラップ法により検出閾値が高くなりすぎ、シャッフルなしの状況では検出率および局所化率が0%となった。
• センサ数の増加に伴い、特徴量ごとのテストと比較して、勾配計算を1回のパスで行えるため、計算量が約O(d)削減され、スケーラビリティに優れた。
• 正規化フローおよび自己回帰モデルを含む深層密度モデルに対しても有効であることが示されたため、現代の生成モデルへの広範な適用可能性が示唆された。