[論文レビュー] Shaping Parameter Contribution Patterns for Out-of-Distribution Detection

Haonan Xu, Yang Yang|arXiv (Cornell University)|Mar 7, 2026

Anomaly Detection Techniques and Applications被引用数 0

ひとこと要約

SPCPトレーニングは境界志向の密なパターンを強制することで分類器パラメータ寄与の過度な自信を抑制し、OOD検出を改善しつつID精度を保つ。

ABSTRACT

Out-of-distribution (OOD) detection is a well-known challenge due to deep models often producing overconfident. In this paper, we reveal a key insight that trained classifiers tend to rely on sparse parameter contribution patterns, meaning that only a few dominant parameters drive predictions. This brittleness can be exploited by OOD inputs that anomalously trigger these parameters, resulting in overconfident predictions. To address this issue, we propose a simple yet effective method called Shaping Parameter Contribution Patterns (SPCP), which enhances OOD detection robustness by encouraging the classifier to learn boundary-oriented dense contribution patterns. Specifically, SPCP operates during training by rectifying excessively high parameter contributions based on a dynamically estimated threshold. This mechanism promotes the classifier to rely on a broader set of parameters for decision-making, thereby reducing the risk of overconfident predictions caused by anomalously triggered parameters, while preserving in-distribution (ID) performance. Extensive experiments under various OOD detection setups verify the effectiveness of SPCP.

研究の動機と目的

• トレーニング済み分類器におけるまばらなパラメータ寄与がOOD検出の脆弱性を生むことを動機付ける。
• dominantパラメータ寄与を制限するトレーニング時正則化（SPCP）を提案する。
• SPCPが境界志向の密な寄与パターンを生み出すが、分布内のパフォーマンスを犠牲にしないことを示す。
• CIFARおよびImageNetのベンチマークを横断してSPCPの有効性を実証し、さまざまなOOD手法と互換性があることを示す。

提案手法

• パラメータ寄与c_k(x; θ_ij)を、パラメータθ_ijが存在する場合とゼロにした場合のクラスk出力の変化として定義する（式(Eq. 4)）。
• 高レベルの意思決定境界に最も影響を与えるのは分類器の重みWであることに着目する（式(Eq. 5)）。
• 動的閾値λを超える寄与を切り捨てることでSPCPを導入する（式(Eq. 7)）；切り捨て寄与を用いてf^SPCP_k(x; λ)を計算する（式(Eq. 8)）。
• ミニバッチ全体の寄与の上位ρパーセンタイルのEMAを用いて各イテレーションでλを推定する（式(Eq. 9)）。
• f^SPCPに対してクロスエントロピー損失で学習し、OOD検出にはEnergyスコアを用いる（式(Eq. 11)）。
• 複数のバックボーンとOODシナリオでOpenOODベンチマーク上のSPCPを経験的に検証する（Table1–Table4）。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中に支配的な分類器パラメータ寄与を制約することで、ID精度を損なうことなくOOD過信を抑制できるか。
• RQ2 境界志向の密な寄与パターンは、近/遠OODシナリオにおいてID-OOD分離を改善するか。
• RQ3 SPCPは既存のOODスコアリング手法やバックボーンと互換性があるか。
• RQ4 寄与の切り捨てを静的閾値とする場合とEMAに基づく動的閾値を用いる場合の比較はどうなるか。
• RQ5 CIFARおよびImageNet規模のベンチマークにおけるロバスト性への影響はどの程度か。

主な発見

• SPCPは近・遠OOD設定のさまざまな状況でOOD検出を改善しつつ、ID精度を維持する。
• 寄与の形作りはIDとOODのスコア分布の重なりを減少させ、ID-OOD分離を強化する。
• SPCPはポストホックおよびトレーニング時正則化手法と互換性があり、バックボーンを超えて競合力のある結果を生む。
• アブレーション検証はトレーニング時の切り捨てが推論のみ切り捨てより効果的で、EMAによる動的λ推定が有益であることを示す。
• SPCPはさまざまなバックボーン（ResNet-18、WideResNet-28-10、DenseNet-101）に一般化可能で、他のOOD手法と組み合わせても有効である。