[論文レビュー] PixMix: Dreamlike Pictures Comprehensively Improve Safety Measures

Dan Hendrycks, Andy Zou+5 more|arXiv (Cornell University)|Dec 9, 2021

Anomaly Detection Techniques and Applications被引用数 7

ひとこと要約

PixMixは、フラクタルや特徴可視化などの高い構造的複雑性を持つ画像を訓練プロセスに混合することで、機械学習の安全性を向上させる画期的なデータ拡張手法である。この手法は、汚損耐性、 adversarial 攻撃耐性、分布シフトに対する耐性といった主な安全性指標において、同時にPareto改善を達成しており、同時に不確実性のキャリブレーションと異常検出性能も向上させている。

ABSTRACT

In real-world applications of machine learning, reliable and safe systems must consider measures of performance beyond standard test set accuracy. These other goals include out-of-distribution (OOD) robustness, prediction consistency, resilience to adversaries, calibrated uncertainty estimates, and the ability to detect anomalous inputs. However, improving performance towards these goals is often a balancing act that today's methods cannot achieve without sacrificing performance on other safety axes. For instance, adversarial training improves adversarial robustness but sharply degrades other classifier performance metrics. Similarly, strong data augmentation and regularization techniques often improve OOD robustness but harm anomaly detection, raising the question of whether a Pareto improvement on all existing safety measures is possible. To meet this challenge, we design a new data augmentation strategy utilizing the natural structural complexity of pictures such as fractals, which outperforms numerous baselines, is near Pareto-optimal, and roundly improves safety measures.

研究の動機と目的

• ロバストネス、キャリブレーション、異常検出といった、しばしば相反する複数の機械学習の安全性指標を同時に改善する課題に対処すること。
• 単一のデータ拡張戦略が、クリーンデータにおける性能を犠牲にすることなく、多様な安全性の目的においてPareto改善を達成できるかどうかを調査すること。
• エントロピーまたはノイズを超えた構造的複雑性が、モデルの一般化性能と安全性を向上させる役割を果たすかどうかを検討すること。
• 視覚的に複雑なドリームライクな画像を活用した、実用的で効果的なデータ拡張パイプラインを構築すること。

提案手法

• クリーンな画像と構造的複雑性を持つ画像（例：フラクタル、特徴可視化）を組み合わせる新しいデータ拡張パイプライン、PixMixを導入する。
• 学習可能なベータ分布を用いたブレンド戦略を採用し、主な実験ではハイパーパrameterとしてk=4およびβ=4を設定する。
• 視覚的複雑性と多様性を考慮して選別された、30万枚のカラー・フラクタルと特徴可視化マップから成る、キュレートされた混合セットを構築する。
• アーキテクチャの変更なしに、標準的なトレーニングプロトコル（例：ResNet-50、90エポック、コサイン減衰学習率）に従ってトレーニング中に拡張を適用する。
• CutMix や Mixup とは異なり、標準的な拡張とは異なる高構造的・非ランダムな視覚パターンをモデルに露出させるために、混合セットを活用する。
• ImageNet-C、ImageNet-P、ImageNet-R、およびPlaces365を用いたOutlier Exposureの複数のベンチマークで手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 単一のデータ拡張戦略が、互いに相反する複数の機械学習の安全性指標を同時に改善できるか？
• RQ2 フラクタルや特徴可視化のような高い構造的複雑性を持つ画像を導入することで、標準的な拡張法よりも優れた一般化性能と耐性が得られるか？
• RQ3 混合セットにおける構造的複雑性が、ランダム画像や合成分布よりも、安全性指標の向上にどの程度寄与するか？
• RQ4 性能のトレードオフが従来の研究で見られる中で、クリーン精度と安全性指標（例：adversarial robustness やキャリブレーション）を両方向上させられるか？

主な発見

• PixMixは、ベースラインと比較してImageNet-Cにおける平均汚損誤差（mCE）を19.5%削減し、すべての先行手法を上回った。
• adversarial robustness において、誤差率を92.9%まで低下（ベースライン比3.9%の改善）させ、adversarial 訓練ベースラインを著しく上回った。
• ImageNet-Cではキャリブレーション誤差を23.0%、ImageNet-¯Cでは14.9%削減し、分布シフト下での不確実性推定性能が優れたことを示した。
• Places365における異常検出のAUROCを89.3まで向上（ベースライン比+11.6%の向上）させ、この指標を著しく向上させる最初の手法となった。
• ImageNetではクリーン精度を1.3%向上させたのに対し、SINは2%の低下を来したのと対照的に、安全性の向上がクリーンデータ性能の低下を伴わないことを示した。
• アブレーション実験により、フラクタルと特徴可視化の両方が不可欠であることが確認された。両方のコンポーネントを除去すると、安全性指標およびクリーン精度が両方とも低下した。