[論文レビュー] Neuron Activation Coverage: Rethinking Out-of-distribution Detection and Generalization

Yibing Liu, Chris Xing Tian+3 more|arXiv (Cornell University)|Jun 5, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

この論文は、分布内（InD）の訓練データが深層ニューラルネットワーク内のニューロンをどの程度網羅的に活性化しているかを定量化する新しい指標であるニューロン活性化カバレッジ（NAC）を導入する。KLダイバージェンスの勾配を用いてニューロンの影響をモデル化することで、NACはSOTAの分布外（OOD）検出（CIFAR-100でFPR95に10.60%の向上を達成）を可能にするとともに、NACとモデルの一般化能力の間に強い相関関係を示し、一般化性能の評価において従来の検証指標を上回る、ロバストなモデルの選択を可能にする。

ABSTRACT

The out-of-distribution (OOD) problem generally arises when neural networks encounter data that significantly deviates from the training data distribution, i.e., in-distribution (InD). In this paper, we study the OOD problem from a neuron activation view. We first formulate neuron activation states by considering both the neuron output and its influence on model decisions. Then, to characterize the relationship between neurons and OOD issues, we introduce the extit{neuron activation coverage} (NAC) -- a simple measure for neuron behaviors under InD data. Leveraging our NAC, we show that 1) InD and OOD inputs can be largely separated based on the neuron behavior, which significantly eases the OOD detection problem and beats the 21 previous methods over three benchmarks (CIFAR-10, CIFAR-100, and ImageNet-1K). 2) a positive correlation between NAC and model generalization ability consistently holds across architectures and datasets, which enables a NAC-based criterion for evaluating model robustness. Compared to prevalent InD validation criteria, we show that NAC not only can select more robust models, but also has a stronger correlation with OOD test performance.

研究の動機と目的

• 分布シフト下で失敗する深層学習における、分布外（OOD）検出と一般化の根本的課題に取り組むこと。
• OOD感受性の根本的要因を捉える、より原理的でニューロンレベルのモデル行動の特徴付けを同定すること。
• InDデータ下でのニューロン活性化パターンを定量化する、簡単で効果的な指標「ニューロン活性化カバレッジ（NAC）」を考案すること。
• NACが従来のInD検証基準を上回り、OOD検出とモデル一般化評価の両方を向上させることを実証すること。
• アーキテクチャやデータセットを問わず、NACとモデルのロバストネスの間の強固で一貫した相関関係を確立すること。

提案手法

• ネットワーク出力と均一ベクトルのKLダイバージェンスの勾配を用いて、ニューロン出力とそのモデル意思決定への影響を組み合わせ、ニューロン活性化状態を定式化する。
• InD訓練データがニューロン状態をどの程度頻繁に活性化するかを統計的指標として、ニューロン活性化カバレッジ（NAC）を導入する。
• NACを用いた不確実性推定（NAC-UE）：低いカバレッジスコアは高い不確実性を示し、OOD検出を可能にする。
• NACを用いたモデル評価（NAC-ME）：全ニューロンのカバレッジ分布を統合し、モデルのロバストネスを評価する。
• ソフトウェアテストにおけるカバレッジ分析の原則を応用し、OOD入力下で不活性化されがちなニューロンを、潜在的な障害点として同定する。
• CIFAR-10、CIFAR-100、ImageNet-1Kの3つのベンチマークおよびOOD一般化評価のためのDomainBedベンチマークにNACを適用する。

実験結果

リサーチクエスチョン

• RQ1 InDデータ下でのニューロン活性化パターンは、InD入力とOOD入力を効果的に区別できるか？
• RQ2 異なるアーキテクチャやデータセットにおいて、ニューロンの活性化カバレッジはモデルの一般化能力と相関するか？
• RQ3 NACに基づく不確実性推定は、既存のOOD検出手法を上回れるか？
• RQ4 NACに基づくモデル評価は、標準的なInD検証指標を上回り、よりロバストなモデルを特定できるか？
• RQ5 ニューロンカバレッジと分布シフト下でのモデルロバストネスの間に根本的な関連性があるか？

主な発見

• NAC-UEは、CIFAR-100においてViM手法と比較してFPR95に10.60%の向上、AUROCに4.58%の向上を達成し、OOD検出でSOTA性能を確立した。
• PACSデータセットでは、NAC-MEはOOD一般化における平均正解率69.16%を達成し、検証ベースの手法（65.04%）を上回り、OODテスト性能との相関性が強く確認された。
• OfficeHomeでは、NAC-MEがVit-b16を用いて47.86%の平均OOD正解率を達成したのに対し、検証ベースラインは40.42%にとどまり、より優れたロバストネス選択を示した。
• ResNetやビジョントランスフォーマーを含むさまざまなアーキテクチャ、PACS、OfficeHome、TerraIncのデータセットにおいて、NACとモデル一般化能力の正の相関関係が一貫して確認された。
• NAC-MEは、標準的なInD検証基準よりもOODテスト性能との相関性が強く、OODロバストネスに優れたモデル選択を可能にした。
• RN50におけるOfficeHomeベンチマークでは、NAC-MEが99.14%のOOD正解率を達成し、検証ベースライン（98.71%）を上回り、多様なモデルやデータセットにおいて有効であることが示された。