[論文レビュー] Metamorphic Testing for Object Detection Systems

Shuai Wang, Zhendong Su|arXiv (Cornell University)|Dec 19, 2019

Advanced Neural Network Applications参考文献 78被引用数 17

ひとこと要約

本稿では、オブジェクト検出システム向けのメタモーフィックテストフレームワークであるMetaODを紹介する。MetaODは、背景にオブジェクトを挿入することで自然な合成画像を生成し、元の画像と変更済み画像間での検出結果の一貫性を検証する。本フレームワークは、商業用検出器で数万件の欠陥を発見し、欠陥を引き起こす合成データを用いた再トレーニングにより、mAPを9.3から10.5まで向上させた。

ABSTRACT

Recent advances in deep neural networks (DNNs) have led to object detectors that can rapidly process pictures or videos, and recognize the objects that they contain. Despite the promising progress by industrial manufacturers such as Amazon and Google in commercializing deep learning-based object detection as a standard computer vision service, object detection systems - similar to traditional software - may still produce incorrect results. These errors, in turn, can lead to severe negative outcomes for the users of these object detection systems. For instance, an autonomous driving system that fails to detect pedestrians can cause accidents or even fatalities. However, principled, systematic methods for testing object detection systems do not yet exist, despite their importance. To fill this critical gap, we introduce the design and realization of MetaOD, the first metamorphic testing system for object detectors to effectively reveal erroneous detection results by commercial object detectors. To this end, we (1) synthesize natural-looking images by inserting extra object instances into background images, and (2) design metamorphic conditions asserting the equivalence of object detection results between the original and synthetic images after excluding the prediction results on the inserted objects. MetaOD is designed as a streamlined workflow that performs object extraction, selection, and insertion. Evaluated on four commercial object detection services and four pretrained models provided by the TensorFlow API, MetaOD found tens of thousands of detection defects in these object detectors. To further demonstrate the practical usage of MetaOD, we use the synthetic images that cause erroneous detection results to retrain the model. Our results show that the model performance is increased significantly, from an mAP score of 9.3 to an mAP score of 10.5.

研究の動機と目的

• 深層学習に基づくオブジェクト検出システムに対する体系的なテスト手法の欠如が、自動運転などの応用分野で深刻な安全リスクを引き起こす可能性があるという問題に対処すること。
• モデルの内部構造にアクセスできない状態でも、誤った検出結果を特定できる実用的でブラックボックスなテスト手法を開発すること。
• グローバルおよびローカルのリアリズムを保ったまま、多様で自然な合成画像を生成し、エッジケースの予測失敗を効果的に引き起こすこと。
• 欠陥を露呈する合成画像を再トレーニングに活用することで、モデルの耐性および精度を向上させられることを実証すること。
• メタモーフィックテストの原則に従い、商業的および事前学習済みオブジェクト検出器向けに、新規で再利用可能なテストパイプラインを確立すること。

提案手法

• インスタンスセグメンテーションを用いて高品質なオブジェクトサンプルを抽出し、背景画像にオブジェクトインスタンスを挿入することで、自然な見た目の画像を合成する。
• 視覚的および文脈的な適合性に基づき、画像の領域に応じた軽量でドメインに適した基準を用いてオブジェクトの選択と精錬を行う。
• デルタデバッグにインspiredされたヒューリスティクスを用い、画像のリアリズムを損なわずに検出エラーを引き起こす可能性を最大化する挿入位置を特定する。
• 元のオブジェクトの検出結果が、元の画像と合成画像の間で一貫性を保つべきであるというメタモーフィック条件を定義するが、挿入されたオブジェクトの予測は除外する。
• オブジェクト抽出、精錬／選択、文脈に配慮した挿入の3段階ワークフローを自動化し、多様なテスト入力を生成する。
• 検出結果の不一致を失敗オракルとして用い、商業的およびオープンソースのオブジェクト検出器における欠陥行動を同定する。

実験結果

リサーチクエスチョン

• RQ1 テストオラクルが利用できない商業的オブジェクト検出システムにおいて、メタモーフィックテストを効果的に適用できるか。
• RQ2 どのようにすれば、挿入されたオブジェクトのローカルリアリズムとシーン全体の整合性を保ちつつ、意味のあるエラーを引き起こす合成画像を生成できるか。
• RQ3 欠陥を露呈する合成画像を再トレーニングに使用することで、モデルの耐性をどの程度向上させられるか。
• RQ4 オブジェクト選択および挿入におけるどのような要因が、オブジェクト検出器におけるエッジケースの失敗を最大限に検出可能にするか。
• RQ5 既存の深層学習システム向けテスト技術と比較して、本手法の欠陥検出能力はどの程度高いか。

主な発見

• MetaODは、4つの商業的オブジェクト検出サービス（Amazon、Google、IBM、Microsoft）および4つのTensorFlow APIモデルにおいて、数万件の誤った検出結果を検出した。
• 本フレームワークは、実世界のシステムにおける欠陥を効果的に同定した。具体的には、低コントラストや隠蔽状態の下でもオブジェクトを検出できない失敗が確認された。
• 検出エラーを引き起こす合成画像を用いてモデルを再トレーニングした結果、平均平均精度（mAP）が9.3から10.5に向上した。これは、失敗に気づいた再トレーニングの有効性を示している。
• MetaODが生成した合成画像は高いリアリズムを保っており、標準的なデータ拡張技術では見逃されがちな、微細で文脈に依存するエラーを検出可能であった。
• ブラックボックス環境下でもメタモーフィックテストアプローチが有効であることが実証された。モデルの重みや内部アーキテクチャへのアクセスは不要であった。
• 本手法の軽量でモジュール化されたパイプラインにより、ドメイン固有の微調整なしに、商業的オブジェクト検出システムのスケーラブルかつ再現可能なテストが可能となった。