[論文レビュー] Identifying Model Weakness with Adversarial Examiner

Michelle Shu, Chenxi Liu+2 more|arXiv (Cornell University)|Nov 25, 2019

Adversarial Robustness in Machine Learning参考文献 44被引用数 4

ひとこと要約

本稿では、過去の性能に基づいてテスト入力を適応的に選択することで、機械学習モデルの弱みを体系的かつ効果的に特定する動的テストフレームワーク「アドバーシャル・エクサミナー」を提案する。標準的な平均的評価に比べて優れた性能を示し、強化学習またはベイジアン最適化を用いて失敗モードを標的とすることで、3Dオブジェクト認識モデルの隠れた脆弱性を露呈させ、過剰に楽観的な性能推定を防ぐ。

ABSTRACT

Machine learning models are usually evaluated according to the average case performance on the test set. However, this is not always ideal, because in some sensitive domains (e.g. autonomous driving), it is the worst case performance that matters more. In this paper, we are interested in systematic exploration of the input data space to identify the weakness of the model to be evaluated. We propose to use an adversarial examiner in the testing stage. Different from the existing strategy to always give the same (distribution of) test data, the adversarial examiner will dynamically select the next test data to hand out based on the testing history so far, with the goal being to undermine the model's performance. This sequence of test data not only helps us understand the current model, but also serves as constructive feedback to help improve the model in the next iteration. We conduct experiments on ShapeNet object classification. We show that our adversarial examiner can successfully put more emphasis on the weakness of the model, preventing performance estimates from being overly optimistic.

研究の動機と目的

• 標準的な機械学習評価における楽観的評価の問題に対処すること。この評価は固定されたテストセットと平均的性能に依存している。
• 特に自動運転や医療など安全が重要な分野において、最悪ケースのシナリオを重視するテストパラダイムを開発すること。
• 静的評価に比べてモデルの弱みをより効果的に露わにする、履歴依存の動的で柔軟なテストプロセスを構築すること。
• データ空間内の失敗しやすい入力領域を同定することで、モデル改善に役立つフィードバックを提供すること。
• ShapeNetを用いた3Dオブジェクト分類においてフレームワークを検証し、隠れた脆弱性を露わにできる能力を示すこと。

提案手法

• アドバーシャル・エクサミナーは、モデルの過去の予測に基づいて次のテスト入力を動的に選択し、性能を最小限に抑えることを目的とする。
• 強化学習（RL）またはベイジアン最適化（BO）を用いて入力空間を探索し、モデルが性能を発揮しない領域を標的とする。
• 入力空間を12次元のパrameter空間（例：照明、オブジェクトの位置、回転）としてモデル化し、モデルの信頼度または損失に基づく報酬関数を用いる。
• テスト入力とモデルの反応の履歴を保持し、リスクの高い領域に焦点を当てる戦略に更新する。
• このフレームワークは逆転させることで、性能を最大化することによりモデルの強みを特定するのにも応用可能である。
• 実験では、ResNet34をShapeNetに適用し、さまざまな訓練データ量の下で失敗モードを発見するようにアドバーシャル・エクサミナーを訓練した。

実験結果

リサーチクエスチョン

• RQ1 動的テストフレームワークは、固定テストセット評価に比べて、モデルの弱みを効果的に露わにできるか？
• RQ2 リアルな入力変動下で、アドバーシャル・エクサミナーは3Dオブジェクト認識モデルの失敗モードをどれほど効果的に特定できるか？
• RQ3 アドバーシャル・エクサミナーの性能は、入力パrameterのサンプリング順序に依存するか？
• RQ4 同じフレームワークを、目的を逆転させることでモデルの強みを特定するのにも使用できるか？
• RQ5 アドバーシャル・エクサミナーは、訓練中に意図的に組み込まれた人工的な弱みをどれほど効果的に露わにできるか？

主な発見

• アドバーシャル・エクサミナーは、モデルが照明強度の増加に対して脆弱であることを効果的に特定した。これは標準的評価では明らかにならなかった失敗モードであった。
• デフォルトの訓練データの10％（m=1）しか使用しなかった場合でも、アドバーシャル・エクサミナーは著しく悪い性能を明らかにした。これにより、データの多様性の重要性が裏付けられた。
• RLおよびBOベースのエクサミナーは、同じ失敗領域に収束した。これは、サンプリング順序や手法選択にかかわらず、高いロバストネスを示していることを意味する。
• 人工的な弱みの実験では、上位および下位の視点に対応する失敗領域が正確に特定された。これは、設計された脆弱性を検出できる能力を裏付けた。
• 損失を最小化する目的に逆転させた場合、エクサミナーは正しく分類されるのに最も好適な視点条件を効果的に特定した。
• アドバーシャル・エクサミナーの動的アプローチにより、ランダムサンプリングや固定テストセットと比較して、過剰に楽観的な性能推定を防ぐことができた。