[論文レビュー] Boundary thickness and robustness in learning models

Yaoqing Yang, Rajiv Khanna+6 more|arXiv (Cornell University)|Jul 9, 2020

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、分類器のロバストネスの主要な指標として境界の厚さを導入し、より厚い境界は過学習を軽減し、 adversarial な入力および分布外（OOD）入力の性能を向上させることを示している。境界の厚さを mixup 学習と関連づけ、ノイズを含む mixup を用いることで境界の厚さを向上させることで、複数のベンチマークにおいてロバストな一般化と adversarial ロバストネスが向上する。

ABSTRACT

Robustness of machine learning models to various adversarial and non-adversarial corruptions continues to be of interest. In this paper, we introduce the notion of the boundary thickness of a classifier, and we describe its connection with and usefulness for model robustness. Thick decision boundaries lead to improved performance, while thin decision boundaries lead to overfitting (e.g., measured by the robust generalization gap between training and testing) and lower robustness. We show that a thicker boundary helps improve robustness against adversarial examples (e.g., improving the robust test accuracy of adversarial training) as well as so-called out-of-distribution (OOD) transforms, and we show that many commonly-used regularization and data augmentation procedures can increase boundary thickness. On the theoretical side, we establish that maximizing boundary thickness during training is akin to the so-called mixup training. Using these observations, we show that noise-augmentation on mixup training further increases boundary thickness, thereby combating vulnerability to various forms of adversarial attacks and OOD transforms. We can also show that the performance improvement in several lines of recent work happens in conjunction with a thicker boundary.

研究の動機と目的

• 機械学習分類器における意思決定境界の厚さの概念を形式化し、定量化すること。
• 境界の厚さと adversarial な例および OOD 分布に対するロバストネスの間の理論的かつ実験的関連を確立すること。
• 正則化およびデータ拡張技術が境界の厚さを増加させることでロバストネスが向上することを示すこと。
• ノイズを含む mixup 学習が境界の厚さを向上させ、結果としてロバストな一般化性能が向上することを示すこと。
• 最近のロバスト学習手法の性能向上を、境界の厚さの増加という観点から説明すること。

提案手法

• 特徴空間内での意思決定境界から最も近い訓練データ点までの最小距離として、境界の厚さを幾何的指標として定義すること。
• 境界の厚さの最大化を mixup 学習の目的関数と理論的に結びつけ、訓練サンプル間の補間を行うこと。
• 補間中に確率的ノイズを追加することで、境界の厚さをさらに向上させるノイズを含む mixup 学習を提案すること。
• 標準的、 adversarial、データ拡張学習の各訓練手法における境界の厚さを比較するための実験的評価を実施すること。
• adversarial および OOD パラメータ変更下でのロバスト一般化ギャップおよびロバストテスト精度を用いてロバストネスを測定すること。
• 複数のデータセットおよびアーキテクチャを対象に、境界の厚さとモデル性能の関係を分析すること。

実験結果

リサーチクエスチョン

• RQ1 意思決定境界の厚さは、adversarial および OOD 例に対するモデルのロバストネスとどのように関係しているか？
• RQ2 一般的な正則化およびデータ拡張技術が、境界の厚さをどの程度向上させるか？
• RQ3 ノイズを含む mixup 学習が、標準的な mixup と比較して意思決定境界をさらに厚くできるか？
• RQ4 最近のロバスト学習手法における性能向上は、境界の厚さの増加に起因していると特定できるか？
• RQ5 境界の厚さの最大化と mixup 学習の目的関数との間には、理論的なつながりがあるか？

主な発見

• より厚い意思決定境界は、訓練とテストの性能のロバスト一般化ギャップが小さくなることから、改善されたロバスト一般化と強く相関している。
• ノイズを含む mixup 学習で訓練されたモデルは、標準的な mixup と比較して顕著に厚い境界を示し、adversarial 攻撃に対するロバストテスト精度が向上している。
• CutMix や Cutout などの多くの正則化およびデータ拡張技術は境界の厚さを増加させ、これが改善されたロバストネスと相関している。
• 理論的分析により、境界の厚さの最大化が mixup 学習の目的関数と等価であることが確認され、mixup の幾何的解釈が得られた。
• 最近のロバスト学習手法（例：adversarial 学習や一貫性正則化を用いる手法）における性能向上は、境界の厚さの測定可能な増加と一致している。
• 境界の厚さは、多様な訓練戦略において向上したロバストネスを統一的に説明する幾何的解釈を提供する。