[論文レビュー] Calibration and Consistency of Adversarial Surrogate Losses

Pranjal Awasthi, Natalie S. Frank+3 more|arXiv (Cornell University)|Apr 19, 2021

Adversarial Robustness in Machine Learning参考文献 34被引用数 6

ひとこと要約

本稿は、頑健な機械学習における敵対的サーヴィェイランス損失のキャリブレーションと一致性について、厳密な理論的分析を提供する。標準的な凸サーヴィェイランス損失が一般化線形モデルや1層ニューラルネットワークなどの重要なモデルに対して ${\mathscr{H}}$-キャリブレートされていないことを証明し、さらに ${\mathscr{H}}$-キャリブレーションが ${\mathscr{H}}$-一貫性を十分に満たさないことも示している。実際、分布に関する仮定なしには、連続なサーヴィェイランス損失は敵対的設定で一貫性を示さない。著者らは、特定のサーヴィェイランス損失が ${\mathscr{H}}$-一貫性を達成するための条件を同定し、その結果を実験的に検証した。

ABSTRACT

Adversarial robustness is an increasingly critical property of classifiers in applications. The design of robust algorithms relies on surrogate losses since the optimization of the adversarial loss with most hypothesis sets is NP-hard. But which surrogate losses should be used and when do they benefit from theoretical guarantees? We present an extensive study of this question, including a detailed analysis of the H-calibration and H-consistency of adversarial surrogate losses. We show that, under some general assumptions, convex loss functions, or the supremum-based convex losses often used in applications, are not H-calibrated for important hypothesis sets such as generalized linear models or one-layer neural networks. We then give a characterization of H-calibration and prove that some surrogate losses are indeed H-calibrated for the adversarial loss, with these hypothesis sets. Next, we show that H-calibration is not sufficient to guarantee consistency and prove that, in the absence of any distributional assumption, no continuous surrogate loss is consistent in the adversarial setting. This, in particular, proves that a claim presented in a COLT 2020 publication is inaccurate. (Calibration results there are correct modulo subtle definition differences, but the consistency claim does not hold.) Next, we identify natural conditions under which some surrogate losses that we describe in detail are H-consistent for hypothesis sets such as generalized linear models and one-layer neural networks. We also report a series of empirical results with simulated data, which show that many H-calibrated surrogate losses are indeed not H-consistent, and validate our theoretical assumptions.

研究の動機と目的

• 敵対的頑健学習における理論的保証の欠如、特に一般化線形モデルや1層ニューラルネットワークなどの仮説集合における頑健な分類器の学習に用いられるサーヴィェイランス損失の選択を解消すること。
• 一般に用いられる凸サーヴィェイランス損失が、一般化線形モデルや1層ニューラルネットワークなどの仮説集合において、敵対的頑健性の観点から理論的に妥当であるかどうかを調査すること。
• 標準的一致性理論が適用できない敵対的設定において、${\mathscr{H}}$-キャリブレーションと ${\mathscr{H}}$-一貫性の違いを明確にすること。
• 先行研究（COLT 2020）における誤った主張を是正すること。具体的には、敵対的設定において ${\mathscr{H}}$-キャリブレーションが ${\mathscr{H}}$-一貫性を意味しないことを証明すること。
• 特定の仮説クラスにおいて、特定のサーヴィェイランス損失が ${\mathscr{H}}$-一貫性を達成するための自然な分布的および構造的条件を同定すること。

提案手法

• 著者らは、敵対的損失の文脈において ${\mathscr{H}}$-キャリブレーションと ${\mathscr{H}}$-一貫性の概念を導入・形式化し、標準定義を局所的近傍の挙動を考慮するように拡張した。
• 敵対的損失が $f({\mathbf{x}})$ のみならず、${\mathbf{x}}$ の近傍における $f$ の挙動にも依存することを分析し、これにより標準的一致性の議論が無効化されることを示した。
• 測度論的道具を用いて、分布に関する仮定なしには、連続なサーヴィェイランス損失は敵対的設定で ${\mathscr{H}}$-一貫性を示さないことを証明し、根本的な理論的障壁を確立した。
• ${\mathscr{H}}$-キャリブレーションの特徴付けを敵対的損失に対して導出し、多くの標準的な凸損失が主要な仮説集合に対してそれを満たさないことを示した。
• 特定のデータ分布の構造や損失の幾何的性質といった、特定の構造的条件が、ある種のサーヴィェイランス損失が ${\mathscr{H}}$-一貫性を達成するための十分条件であることを同定した。
• シミュレートされたデータを用いた実験により理論を検証し、${\mathscr{H}}$-キャリブレートされた損失でも ${\mathscr{H}}$-一貫性を示さないことがあることを実証した。

実験結果

リサーチクエスチョン

• RQ1 一般に用いられる凸サーヴィェイランス損失は、一般化線形モデルや1層ニューラルネットワークにおいて、敵対的頑健性に関して ${\mathscr{H}}$-キャリブレートされているか？
• RQ2 ${\mathscr{H}}$-キャリブレーションは、標準的分類とは異なり、敵対的設定において ${\mathscr{H}}$-一貫性を意味するのか？
• RQ3 分布に関する追加仮定なしに、連続なサーヴィェイランス損失が敵対的学習において ${\mathscr{H}}$-一貫性を示せるか？
• RQ4 敵対的設定において、サーヴィェイランス損失の ${\mathscr{H}}$-一貫性を実現するための構造的または分布的条件は何か？
• RQ5 COLT 2020 の論文における敵対的サーヴィェイランス一貫性に関する理論的主張は正しいのか、それとも推論の誤りがあるのか？

主な発見

• 一般仮定のもとで、一般化線形モデルや1層ニューラルネットワークに対して、凸サーヴィェイランス損失（包括して上限に基づく凸損失）は ${\mathscr{H}}$-キャリブレートされていない。
• ${\mathscr{H}}$-キャリブレーションは、敵対的設定において ${\mathscr{H}}$-一貫性を十分に満たさない。両者の概念は独立で、別個のものである。
• 分布に関する仮定なしには、連続なサーヴィェイランス損失は敵対的学習において ${\mathscr{H}}$-一貫性を示さない。これは根本的な理論的制限を示している。
• COLT 2020 の論文における ${\mathscr{H}}$-一貫性に関する主張は誤りであるが、キャリブレーションに関する結果は、わずかな定義の違いを除けば成立している。
• 特定のデータ分布の構造や損失の幾何的性質といった自然な条件下では、一部のサーヴィェイランス損失が一般化線形モデルや1層ニューラルネットワークに対して ${\mathscr{H}}$-一貫性を達成する。
• シミュレートされたデータにおける実験結果から、多くの ${\mathscr{H}}$-キャリブレートされたサーヴィェイランス損失が ${\mathscr{H}}$-一貫性を示さないことが確認され、理論的仮定と結果が妥当であることが裏付けられた。