[論文レビュー] Average of Pruning: Improving Performance and Stability of Out-of-Distribution Detection

Zhen Cheng, Fei Zhu+2 more|arXiv (Cornell University)|Mar 2, 2023

Anomaly Detection Techniques and Applications被引用数 6

ひとこと要約

本論文では、モデルアンサンブルと構造的プルーニングを組み合わせることで、深層ニューラルネットワークにおける分布外（OOD）検出の安定性と性能を向上させる、シンプルでありながら効果的な手法であるAverage of Pruning（AoP）を提案する。損失関数の地形を平滑化することで、重みの微小な摂動に対する感度を低下させ、プルーニングによって過学習を軽減することで、複数のアーキテクチャおよびデータセットにおいて一貫した向上が得られ、AUROCの向上とモデル選択に対するロバスト性が顕著に向上する。

ABSTRACT

Detecting Out-of-distribution (OOD) inputs have been a critical issue for neural networks in the open world. However, the unstable behavior of OOD detection along the optimization trajectory during training has not been explored clearly. In this paper, we first find the performance of OOD detection suffers from overfitting and instability during training: 1) the performance could decrease when the training error is near zero, and 2) the performance would vary sharply in the final stage of training. Based on our findings, we propose Average of Pruning (AoP), consisting of model averaging and pruning, to mitigate the unstable behaviors. Specifically, model averaging can help achieve a stable performance by smoothing the landscape, and pruning is certified to eliminate the overfitting by eliminating redundant features. Comprehensive experiments on various datasets and architectures are conducted to verify the effectiveness of our method.

研究の動機と目的

• 深層ニューラルネットワークの学習履歴において、OOD検出性能に見られる不安定性と過学習の問題を調査すること。
• 訓練誤差がほぼゼロに近づいても、特に最終学習段階において、AUROCに過学習と不安定性が生じることを同定すること。
• 損失関数の地形を平滑化することで、微小な重み摂動に対する感度を低減するモデルアンサンブルを活用し、不安定性を軽減すること。
• インハウスデータとOODデータの両方に共通する余分でノイジーな特徴を削除することで、プルーニングを用いて過学習を軽減すること。
• 既存の検出ヘッドや学習手順を変更せずに、任意のOOD検出手法に適用可能な、即挿し可能なモジュールであるAoPを開発すること。

提案手法

• 最終学習チェックポイントに対してモデルアンサンブルを適用し、オンラインモデルの重みの移動平均を用いて、より平坦で安定した重み構成を生成する。
• トレーニング後、重みリワインドを伴うLottery Ticket Hypothesis（LTH）を用いてプルーニングを実施し、グローバルスパarsityを強制することで、余分な特徴を除去する。
• アンサンブルとプルーニングの組み合わせが、任意のOOD検出手法に適用可能なモジュラーな強化であるAoPを形成する。
• 理論的分析に基づき、L1正則化（LASSO）が過学習を低減することと関連づけ、プルーニングをスパarsity誘導機構として用いる動機づけがなされる。
• 表現学習と検出性能への影響を評価するために、特徴可視化とメトリクス追跡（AUROC、AURC、FPR95）が用いられる。
• 一般化を検証するため、複数のデータセット（例：CIFAR-10、LSUN）およびアーキテクチャ（ResNet-18、VGG-16、WideResNet、MobileNet）を用いた実験が実施される。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの学習履歴において、OOD検出性能（AUROC）はどのように変化するか？
• RQ2 なぜテスト誤差が安定しているにもかかわらず、特に最終学習段階でAUROCが劣化または急激に変動するのか？
• RQ3 損失関数の地形を平滑化することで、モデルアンサンブルがどれほどOOD検出性能の安定性を向上させるのか？
• RQ4 インハウスデータとOODデータの両方に共通するノイジーな特徴を削除することで、プルーニングがOOD検出における過学習をどれほど軽減するのか？
• RQ5 AoPのようなシンプルでモジュラーな手法が、多様なアーキテクチャおよびデータセットにおいて一貫してOOD検出を向上させることができるか？

主な発見

• テスト誤差が安定しているにもかかわらず、最終学習段階でOOD検出のAUROCに不安定性が見られ、モデル選択の信頼性が低いことを示す。
• 訓練誤差がほぼゼロに近づいた後も学習を継続すると、IDとOODデータの両方に共通するノイジーな特徴をモデルが記憶してしまうことにより、OOD検出における過学習が発生する。
• モデルアンサンブルは安定性を顕著に向上させ、微小な重み摂動に対する感度を低減し、最終チェックポイントの信頼性を高める。
• 重みリワインドを伴うLTHによるプルーニングは、反復的プルーニング戦略の中で最も優れた性能を達成し、ランダムプルーニングやファインチューニングを上回る。
• AoPは、ResNet-18（CIFAR-10）でAUROCを0.72ポイント向上させ、WideResNet-40-2では0.40ポイント向上させ、評価されたすべてのアーキテクチャで一貫した向上を達成する。
• AoPは誤分類検出の性能向上にも寄与し、WideResNet-40-2ではAUROCを93.58％から93.98％へ、FPR95を40.03％から36.07％へ改善する。