[論文レビュー] A Critical Evaluation of Open-World Machine Learning

Liwei Song, Vikash Sehwag+2 more|arXiv (Cornell University)|Jul 8, 2020

Adversarial Robustness in Machine Learning参考文献 15被引用数 8

ひとこと要約

本論文は、腐敗したおよび敵対的OOD入力の下で、6つの最先端のOOD検出器の耐性をテストすることにより、オープンワールド機械学習システムを批判的に評価する。検出器の性能は著しく低下し、誤検出率が70％を超える場合があり、敵対的摂動下では100％に達する。一方、敵対的訓練による耐性強化はOOD検出能力を損なうことが判明し、耐性と異常検出能力の間の新たなトレードオフが明らかになった。

ABSTRACT

Open-world machine learning (ML) combines closed-world models trained on in-distribution data with out-of-distribution (OOD) detectors, which aim to detect and reject OOD inputs. Previous works on open-world ML systems usually fail to test their reliability under diverse, and possibly adversarial conditions. Therefore, in this paper, we seek to understand how resilient are state-of-the-art open-world ML systems to changes in system components? With our evaluation across 6 OOD detectors, we find that the choice of in-distribution data, model architecture and OOD data have a strong impact on OOD detection performance, inducing false positive rates in excess of $70\%$. We further show that OOD inputs with 22 unintentional corruptions or adversarial perturbations render open-world ML systems unusable with false positive rates of up to $100\%$. To increase the resilience of open-world ML, we combine robust classifiers with OOD detection techniques and uncover a new trade-off between OOD detection and robustness.

研究の動機と目的

• 腐敗した、または敵対的に摂動されたOODデータのような、多様で非理想的な条件下におけるオープンワールドMLシステムの信頼性と耐性を評価すること。
• インディストリビューションデータ、モデルアーキテクチャ、OODデータの変化がOOD検出性能に与える影響を調査すること。
• 敵対的訓練が耐性を向上させつつOOD検出能力を維持できるかを評価すること。
• 敵対的訓練とOOD検出を組み合わせた際、耐性とOOD検出能力の間に生じる新たなトレードオフを特定し、分析すること。

提案手法

• 統一された実験環境下で、6つのSOTA OOD検出器（ODIN、Network Agnostophobia、Mahalanobis Detector、Autoencoder Detector、Deep-SVDD、Outlier Exposure）を評価する。
• インディストリビューションデータ（例：CIFAR-10、SVHN）、OODデータセット（例：ImageNet、MNIST、CIFAR-100）、モデルアーキテクチャ（例：WRN-28-10、ResNet-28-10）を変化させ、感度を評価する。
• PGD攻撃を変更して、OOD検出を回避できるがOODのままの入力を生成するOOD敵対的例を導入・適用する。
• PGD（L∞=8）を用いた敵対的訓練を実施し、分類器の耐性を強化し、OOD検出性能への影響を評価する。
• t-SNE可視化を用いて、自然に訓練されたモデルと敵対的に訓練されたモデルの特徴表現を比較し、クラス間分離性の低下を確認する。
• FPR（誤検出率）とOW-TSR（OOD-World真陽性率）を主な指標として用い、検出器の失敗と攻撃成功の度合を定量化する。

実験結果

リサーチクエスチョン

• RQ1 インディストリビューションデータ、OODデータ、モデルアーキテクチャの変化がOOD検出性能に与える影響は何か？
• RQ2 データの腐敗と敵対的摂動がOOD検出器の信頼性に与える影響は何か？
• RQ3 敵対的訓練は、OOD検出性能を損なわせることなく、オープンワールドMLシステムの耐性を向上させられるか？
• RQ4 OOD敵対的例は、オープンワールドMLシステムの整合性をどの程度損なうか？
• RQ5 敵対的訓練とOOD検出を組み合わせた際、耐性とOOD検出能力の間に根本的なトレードオフが存在するか？

主な発見

• インディストリビューションデータ、OODデータ、モデルアーキテクチャの選択がOOD検出に顕著な影響を与え、一部の設定では誤検出率が70％を超える。
• 22種類の腐敗タイプを伴うOOD入力では、誤検出率が最大100％に達し、システムの使用不能に至る。
• OOD敵対的例は、大多数の検出器でほぼ100％の成功率を示し、FPRとOW-TSRの両方が100％に近づく。
• 敵対的訓練は特徴の識別力を低下させ、通常のOODデータに対するOOD検出性能に顕著な低下を引き起こす。
• 耐性とOOD検出能力の間の新たなトレードオフが顕在化する：敵対的訓練による耐性向上は、OOD検出能力の低下を伴う。
• t-SNE可視化により、敵対的に訓練されたモデルではインディストリビューションとOODの特徴間の明確な分離が失われており、検出性能の低下が説明できる。