[論文レビュー] Unadversarial Examples: Designing Objects for Robust Vision

Hadi Salman, Andrew Ilyas+4 more|arXiv (Cornell University)|Dec 22, 2020

Adversarial Robustness in Machine Learning参考文献 62被引用数 24

ひとこと要約

本論文は、分布シフト下でのディープラーニングモデルの性能と耐性を向上させるために勾配ベースの手法で明示的に最適化された『非敵対的例』を導入する。入力設計の制御を活用することで、ImageNetおよびCIFARベンチマークにおいて分類器の精度と耐性が向上し、QRコードやランダム／最適な訓練画像をベースラインとして上回る性能を示す。

ABSTRACT

We study a class of realistic computer vision settings wherein one can influence the design of the objects being recognized. We develop a framework that leverages this capability to significantly improve vision models' performance and robustness. This framework exploits the sensitivity of modern machine learning algorithms to input perturbations in order to design "robust objects," i.e., objects that are explicitly optimized to be confidently detected or classified. We demonstrate the efficacy of the framework on a wide variety of vision-based tasks ranging from standard benchmarks, to (in-simulation) robotics, to real-world experiments. Our code can be found at https://git.io/unadversarial .

研究の動機と目的

• 実世界のビジョン応用において予期しない分布シフト下でのモデルの耐性の持続的課題に対処する。
• 多くの実用的状況では、システム設計者がモデルと入力オブジェクトの物理的設計の両方を制御可能であることに気づく。
• 入力設計の制御を活用してモデルの性能と耐性を向上させるフレームワークを開発し、敵対的パラダイムを逆転する。
• モデルの信頼度を向上させるためにオブジェクトを最適化すること（逆に攻撃するのではなく）が、精度と耐性の大幅な向上をもたらすことを示す。
• 標準ベンチマーク、シミュレーテッドロボットス、および実世界の物理的展開において、手法の妥当性を検証する。

提案手法

• 勾配ベースの最適化を用いて、ターゲットクラスのモデル信頼度を最大化するパッチまたは3Dオブジェクトテクスチャを設計する。
• 分類器を逆伝播することで、ターゲットクラスの交差エントロピー損失を最小化するように非敵対的パッチを訓練する。
• 回転、スケーリング、平行移動などのランダム変換を適用して、現実世界のばらつきをシミュレートする。
• 複数の破損タイプと深刻度において、破損済みデータセット（ImageNet-C、CIFAR-C）上で耐性を評価する。
• 3Dオブジェクトテクスチャへの拡張を行い、シミュレーテッドドローン着陸タスクに展開して実世界への転送を検証する。
• 強力なベースライン（QRコード、最良／平均的な訓練画像、固定パターンパッチ）と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 モデルの信頼度を向上させるために最適化された入力を用いることで、敵対的でないアプローチによりビジョンモデルの耐性を向上させられるか？
• RQ2 非敵対的パッチは、既存のベースラインと比較して、標準的および破損済みベンチマークでの性能をどの程度向上させられるか？
• RQ3 非敵対的例による性能向上は、シミュレーションから実世界の物理的展開にまで伝播するか？
• RQ4 2Dパッチ、3Dテクスチャなどの異なるオブジェクトタイプおよび分類、ロボティクスなどの異なるビジョンタスクにおいて、この手法はどのようにスケーリングされるか？
• RQ5 非敵対的設計により、再トレーニングを大幅に減らしつつ、予期しない分布シフトに対する耐性を向上させられるか？

主な発見

• 非敵対的パッチは、ImageNet-CおよびCIFAR-10-Cの全破損タイプと深刻度において、事前学習モデルおよびすべてのベースラインを上回る顕著な耐性精度の向上を達成する。
• 高い深刻度の破損下でも一貫した性能向上が得られ、特定のImageNet-C破損においては耐性精度が最大20〜30ポイント向上する。
• QRコードや最良訓練画像パッチは比較的劣っており、QRコードは中程度の破損下で一般化に失敗し、最良画像は僅かな向上にとどまる。
• ランダムな訓練画像をパッチとして使用すると、最良画像よりも著しく性能が劣り、最適化の重要性を確認する。
• 事前に定義された固定パターンパッチ（例：ランダムなガウスノイズ）は、モデル性能を弱めることが示され、学習されたパッチ設計の重要性を裏付ける。
• フレームワークは実世界の設定にも成功裏に転送され、シミュレーテッドドローン着陸タスクにおいて物理的適用可能性と耐性を確認した。