[論文レビュー] Understanding Square Loss in Training Overparametrized Neural Network Classifiers

Tianyang Hu, Jun Wang+2 more|arXiv (Cornell University)|Dec 7, 2021

Advanced Neural Network Applications被引用数 4

ひとこと要約

この論文は、過パラメータ化されたニューラルネットワーク分類器における二乗損失の理論的・実験的分析を提供し、一般化誤差およびキャリブレーション誤差において高速収束を達成し、分離可能な場合に指数的収束を示し、優れたロバスト性を示す。二乗損失と単体符号化を組み合わせることで、交差エントロピーと比較して、キャリブレーション性能と敵対的ロバスト性が向上し、ノイズや敵対的攻撃下でも顕著である。

ABSTRACT

Deep learning has achieved many breakthroughs in modern classification tasks. Numerous architectures have been proposed for different data structures but when it comes to the loss function, the cross-entropy loss is the predominant choice. Recently, several alternative losses have seen revived interests for deep classifiers. In particular, empirical evidence seems to promote square loss but a theoretical justification is still lacking. In this work, we contribute to the theoretical understanding of square loss in classification by systematically investigating how it performs for overparametrized neural networks in the neural tangent kernel (NTK) regime. Interesting properties regarding the generalization error, robustness, and calibration error are revealed. We consider two cases, according to whether classes are separable or not. In the general non-separable case, fast convergence rate is established for both misclassification rate and calibration error. When classes are separable, the misclassification rate improves to be exponentially fast. Further, the resulting margin is proven to be lower bounded away from zero, providing theoretical guarantees for robustness. We expect our findings to hold beyond the NTK regime and translate to practical settings. To this end, we conduct extensive empirical studies on practical neural networks, demonstrating the effectiveness of square loss in both synthetic low-dimensional data and real image data. Comparing to cross-entropy, square loss has comparable generalization error but noticeable advantages in robustness and model calibration.

研究の動機と目的

• 深層学習分類器における二乗損失の実験的成功の理論的裏付けを提供すること、特に過パラメータ化された設定において。
• 二乗損失が分離可能および非分離可能な分類設定の両方において、一般化誤差、キャリブレーション誤差、ロバスト性に与える影響を調査すること。
• ガウスノイズ下での性能、モデルのキャリブレーション、敵対的ロバスト性の観点から、二乗損失と交差エントロピーを比較すること。
• 特にワンホット符号化と単体符号化の2種類のラベル符号化方式が、二乗損失の性能に与える影響を評価すること。
• 二乗損失分類器のロバスト性をより正確に評価するために、特化したアングル攻撃を提案・検証すること。

提案手法

• ニューラル接線カーネル（NTK）の枠組みにおいて二乗損失を分析し、誤分類誤差およびキャリブレーション誤差の理論的収束速度を導出する。
• 二乗損失下での最適分類器が $2\eta - 1$ であることを導出し、真の条件付き確率 $\eta$ に対して線形に依存するため、より良いキャリブレーションが可能になる。
• 余弦類似度を最大化するように設計されたアングル攻撃を提案し、二乗損失モデルに顕著な敵対的脆弱性が存在することを明らかにする。
• CIFAR-10およびCIFAR-100におけるロバスト性を、白ボックス攻撃（PGD）およびブラックボックス攻撃（AutoAttack）を用いて評価する。
• 標準偏差が 0.1 から 0.4 の範囲でガウスノイズを注入し、精度低下の度合いを測定することで、ノイズに対するロバスト性を評価する。
• ワンホット符号化と単体符号化の2種類を比較し、単体符号化が、WRN-16-10のような深層ネットワークにおいて性能を向上させることを示している。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化されたNTK設定下で、二乗損失は一般化誤差およびキャリブレーション誤差においてどのように性能を示すか？
• RQ2 分離可能および非分離可能なデータに対して、二乗損失下での誤分類誤差およびキャリブレーション誤差の理論的収束速度は何か？
• RQ3 PGDおよびAutoAttackの下で、二乗損失は交差エントロピーと比較して敵対的ロバスト性に優れているか？
• RQ4 ラベル符号化（ワンホット対単体符号化）が、二乗損失分類器の性能に与える影響は何か？
• RQ5 標準の二乗損失最大化とは異なり、特別に設計されたアングル攻撃は、二乗損失モデルに顕著な脆弱性を露わにできるか？

主な発見

• 非分離可能な場合、NTK設定下で二乗損失は誤分類率およびキャリブレーション誤差の両方において高速収束を達成する。
• クラスが分離可能な場合、二乗損失下での誤分類率は指数的に高速に収束し、マージンはゼロから離れた下限を持つため、ロバスト性が保証される。
• 二乗損失で訓練されたモデルは、交差エントロピーと同等の一般化誤差を示すが、敵対的攻撃下でのキャリブレーション性能とロバスト性が顕著に優れている。
• CIFAR-10およびCIFAR-100において、二乗損失モデルはガウスノイズ下でも高い精度を維持する（例：ResNet-18でσ=0.1のとき90.07%、交差エントロピーは90.03%）ことから、ノイズに対する優れたロバスト性を示している。
• アングル攻撃は、二乗損失モデルに対して標準のPGD攻撃よりも優れた性能を示し、標準的な攻撃が二乗損失モデルの脆弱性を低く見積もっている可能性を示している。
• 単体符号化は、ワンホット符号化よりも一貫して優れた性能を示し、特にWRN-16-10のような深層ネットワークでは、79.65%のテスト精度（ワンホット符号化では78.39%）を達成している。