[論文レビュー] Testing Deep Learning Models for Image Analysis Using Object-Relevant Metamorphic Relations

Yongqiang Tian, Shiqing Ma+4 more|arXiv (Cornell University)|Sep 6, 2019

Adversarial Robustness in Machine Learning参考文献 48被引用数 5

ひとこと要約

本稿では、画像解析用の深層学習モデルがその推論において対象オブジェクトに関連する特徴に依存しているかどうかを評価するためのメタモーフィックテスト手法を提案する。2つの新しいメタモーフィック関係（オブジェクト保持変異とオブジェクト除去変異）を導入することで、オブジェクト関連性スコアを用いて推論の信頼性を定量化し、画像分類器の上位5件の予測の5.3％以上、オブジェクト検出器の8.5％以上が関連のない特徴に依存していることが明らかになった。これにより、より効果的な対 adversarial 攻撃が可能になる。

ABSTRACT

Deep learning models are widely used for image analysis. While they offer high performance in terms of accuracy, people are concerned about if these models inappropriately make inferences using irrelevant features that are not encoded from the target object in a given image. To address the concern, we propose a metamorphic testing approach that assesses if a given inference is made based on irrelevant features. Specifically, we propose two novel metamorphic relations to detect such inappropriate inferences. We applied our approach to 10 image classification models and 10 object detection models, with three large datasets, i.e., ImageNet, COCO, and Pascal VOC. Over 5.3% of the top-5 correct predictions made by the image classification models are subject to inappropriate inferences using irrelevant features. The corresponding rate for the object detection models is over 8.5%. Based on the findings, we further designed a new image generation strategy that can effectively attack existing models. Comparing with a baseline approach, our strategy can double the success rate of attacks.

研究の動機と目的

• 深層学習モデルがターゲットオブジェクトの特徴ではなく、関連のない背景特徴に依存して推論を行うという深刻な懸念に対処すること。
• アノテーションやゴールドスタンダードを必要とせず、モデルの推論におけるオブジェクト関連性を評価するためのテストフレームワークを開発すること。
• 画像分類およびオブジェクト検出モデルにおける、モデルの予測がオブジェクト関連特徴とオブジェクト非関連特徴にどの程度依存しているかを定量化すること。
• モデルの脆弱性を活用して adversarial 攻撃の成功率を向上させる新しい画像生成戦略を設計すること。
• 画像解析用の深層学習モデルの推論信頼性を測定するための新規で測定可能な指標（オブジェクト関連性スコア）を提供すること。

提案手法

• 推論の一貫性をテストするための2つの新しいメタモーフィック関係（MR-1：オブジェクト保持変異、MR-2：オブジェクト除去変異）を提案する。
• 対象オブジェクトを保持または除去するが、他の画像領域は変更しない画像変異操作を適用する。
• 得られた変異画像を用いて、モデルの予測がメタモーフィック関係を満たしているかどうかを評価する。
• 元の予測と変異後の予測の整合性の度合いに基づいて、オブジェクト関連性スコアを計算する。
• オブジェクト関連性スコアを活用して、adversarial 攻撃の成功率を向上させる新しい画像生成戦略を設計する。
• 再訓練やゴールドスタンダードラベルを必要としないメタモーフィックテストを用いて、モデルの挙動を検証する。

実験結果

リサーチクエスチョン

• RQ1 画像解析用の事前学習済み深層学習モデルは、予測においてどの程度オブジェクト非関連特徴に依存しているか？
• RQ2 メタモーフィックテストは、深層学習モデルの推論が関連のない特徴に依存しているかどうかを効果的に検出できるか？
• RQ3 オブジェクト関連性スコアを形式的に定義・計算するにはどうすればよいか？ これにより、モデルの予測が関連特徴にどの程度依存しているかを定量化できるか？
• RQ4 オブジェクト関連性スコアは、深層学習モデルに対する adversarial 攻撃の効果を向上させることに利用できるか？
• RQ5 多様な画像分類およびオブジェクト検出モデルにおいて、背景特徴に依存する信頼性の低い推論はどの程度広がっているか？

主な発見

• 画像分類モデルの上位5件の正解予測の5.3％以上がオブジェクト非関連特徴に依存しており、非ターゲット特徴への広範な依存が示された。
• オブジェクト検出モデルでは、関連のない特徴に依存する推論の割合が8.5％を超え、この分野のモデルにおいてより深刻な問題が浮き彫りになった。
• 提案されたオブジェクト関連性スコアは、背景や関連のない画像領域に依存する信頼性の低い推論を行うモデルを効果的に同定できた。
• オブジェクト関連性スコアを基にした新しい画像生成戦略により、ベースライン手法と比較して adversarial 攻撃の成功率が2倍に向上した。
• 多くの広く使われている事前学習済みモデルが、関連のない特徴への依存を悪用する攻撃に対して脆弱であることが明らかになった。
• 現在のテスト手法は、モデルの推論におけるオブジェクト関連性を評価していないため、このような脆弱性を検出できないことが判明した。