[論文レビュー] Preventing Manifold Intrusion with Locality: Local Mixup

Raphaël Baena, Lucas Drumetz+1 more|arXiv (Cornell University)|Jan 12, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

この論文では、局所性に基づいてMixup仮想サンプルの重みを調整することで、多様体の侵入を軽減し、一般化性能を向上させるデータオーグメンテーション手法であるLocal Mixupを提案する。入力サンプル間の距離に基づく重み付けにより、vanilla学習と標準的なMixupよりもCIFAR-10、Fashion-MNIST、SVHNで高いテスト精度を達成し、1つの局所性ハイパーパrameterによって学習可能なバイアス・バリアンストレードオフを実現する。

ABSTRACT

Mixup is a data-dependent regularization technique that consists in linearly interpolating input samples and associated outputs. It has been shown to improve accuracy when used to train on standard machine learning datasets. However, authors have pointed out that Mixup can produce out-of-distribution virtual samples and even contradictions in the augmented training set, potentially resulting in adversarial effects. In this paper, we introduce Local Mixup in which distant input samples are weighted down when computing the loss. In constrained settings we demonstrate that Local Mixup can create a trade-off between bias and variance, with the extreme cases reducing to vanilla training and classical Mixup. Using standardized computer vision benchmarks , we also show that Local Mixup can improve test accuracy.

研究の動機と目的

• Mixupにおける多様体の侵入問題、すなわち遠く離れたサンプルが分布外または矛盾する仮想サンプルを生成することを是正すること。
• 訓練中にバイアス・バリアンストレードオフを制御できる局所性に配慮した正則化手法を導入すること。
• Mixupに局所構造を組み込むことで、標準的なコンピュータビジョンデータセットにおける一般化性能の向上を実証すること。
• 1つのハイパーパrameterによって、vanilla学習と古典的Mixupの間を連続的に補間すること。

提案手法

• Local Mixupは、入力ペア間のユークリッド距離に依存する重み付け方式を導入し、仮想サンプルの重みをペア間の距離関数で決定する。
• 距離が遠いサンプルペアの損失寄与度を低下させるために、αでパrameter化された滑らかな単調減少の指数関数を用いる。
• 仮想サンプルは線形補間により生成される：x̃ = λxi + (1−λ)xj および ỹ = λyi + (1−λ)yj だが、||xi − xj||に依存する重み付きでしか損失に寄与しない。
• このアプローチにより、vanilla学習（α → 0）から標準的なMixup（α → ∞）への連続的遷移が可能となり、中間の値ではバイアスとバリアンスのバランスが取れる。
• 標準的なアーキテクチャ（ResNet18、DenseNet、LeNet-5）を用いてCIFAR-10、Fashion-MNIST、SVHNで評価し、テスト誤差が最小となるハイパーパrameterを設定した。

実験結果

リサーチクエスチョン

• RQ1 局所性に配慮した重み付けをMixupに適用することで、多様体の侵入を軽減し、一般化性能を向上させることができるか？
• RQ2 Local Mixupは、低次元および高次元の両設定において、バイアス・バリアンストレードオフにどのように影響を与えるか？
• RQ3 Local Mixupは、標準的な視覚ベンチマークにおいて、常に標準的なMixupおよびvanilla学習を上回る性能を示すか？
• RQ4 局所性ハイパーパrameter α がモデル性能およびリプシッツ連続性に与える影響は何か？

主な発見

• CIFAR-10では、α = 3e−3でテスト誤差率4.03% ± 0.03を達成し、vanilla ResNet18（4.98% ± 0.03）および標準的なMixup（4.13% ± 0.03）を上回った。
• Fashion-MNISTでは、α = 1e−3で5.97% ± 0.2の誤差を達成し、ベースライン（6.20% ± 0.2）およびMixup（6.36% ± 0.16）を上回った。
• SVHNでは、α = 5e−2で8.20% ± 0.13の誤差を達成し、vanilla LeNet（10.01% ± 0.15）およびMixup（8.31% ± 0.14）を上回った。
• この手法により、vanilla学習と古典的Mixupの間を連続的に補間でき、極端な状況ではそれぞれオーグメンテーションなしと完全なMixupに対応する。
• 実験により、Local Mixupは訓練済みモデルのリプシッツ定数の下界を調整可能であることが示され、より高いロバストネスを示唆している。
• 代替的なグラフ（K近傍法またはしきい値付き）はLocal Mixupを上回らなかったため、指数関数的減衰による重み付けが局所性制御に有効であると示唆された。