[論文レビュー] A Systematic Framework for Natural Perturbations from Videos

Vaishaal Shankar, Achal Dave+4 more|arXiv (Cornell University)|May 28, 2019

Adversarial Robustness in Machine Learning参考文献 5被引用数 29

ひとこと要約

本論文は、ビデオフレームから抽出された自然画像ノイズに対する深層学習モデルの頑健性を評価する体系的なフレームワークを提案する。ImageNet Videoから抽出された22,178枚の知覚的に類似した画像から構成される人間がアノテートしたデータセットを用いて、最先端の分類器は自然なノイズ下で中央値で16%の精度低下を示し、オブジェクト検出器は中央値で14ポイントのmAP低下を示すことが実証された。これは、実世界の展開において顕著な頑健性のギャップを示している。

ABSTRACT

We introduce a systematic framework for quantifying the robustness of classifiers to naturally occurring perturbations of images found in videos. As part of this framework, we construct Imagenet-Video-Robust, a human-expert--reviewed dataset of 22,178 images grouped into 1,109 sets of perceptually similar images derived from frames in the ImageNet Video Object Detection dataset. We evaluate a diverse array of classifiers trained on ImageNet, including models trained for robustness, and show a median classification accuracy drop of 16%. Additionally, we evaluate the Faster R-CNN and R-FCN models for detection, and show that natural perturbations induce both classification as well as localization errors, leading to a median drop in detection mAP of 14 points. Our analysis shows that natural perturbations in the real world are heavily problematic for current CNNs, posing a significant challenge to their deployment in safety-critical environments that require reliable, low-latency predictions.

研究の動機と目的

• ビデオデータに見られる自然に発生する画像ノイズ下における深層ニューラルネットワークの体系的評価の欠如に応えること。
• ビデオシーケンスからの現実世界の視覚的変動にさらされたImageNetで訓練された分類器の頑健性低下を定量化すること。
• 自然なノイズがオブジェクト検出モデルに与える影響を、分類誤りと局所化誤りの両面で評価すること。
• 将来的な動画における自然な分布シフトに対する頑健性に関する研究のためのベンチマークデータセットを提供すること。
• 現在のモデルが現実の視覚的変動に失敗することを示し、安全に重要なシステムへの展開を挑戦すること。

提案手法

• ImageNet-Video-Robustの構築：ImageNet Video Object Detectionデータセットから抽出された1,109セットの知覚的に類似したフレームから成る、合計22,178枚の画像の、人間が検証済みのデータセット。
• 視覚的類似性に基づくフレーム選定により、動きぼけ、照明変化、視点シフトなどの自然なノイズを模擬すること。
• 多様なImageNetで訓練された分類器（頑健性最適化モデルを含む）を、自然なノイズ下での精度低下を測定するために評価すること。
• Faster R-CNNおよびR-FCN検出器を同様のデータセットで評価し、分類誤りと局所化誤りの両方による平均平均精度（mAP）の低下を測定すること。
• フレームをグループ化する基準として知覚的類似性を用い、ノイズが自然で現実の視覚的変動を的確に反映していることを保証すること。
• 標準的な評価指標（精度、mAP）を用いて、複数のモデルアーキテクチャにわたる頑健性低下を定量化すること。

実験結果

リサーチクエスチョン

• RQ1 ビデオシーケンスにおける自然な画像変動は、ImageNetで訓練されたモデルの分類精度をどの程度低下させるか？
• RQ2 自然なノイズは、特に局所化誤りと分類誤りの観点から、オブジェクト検出性能にどの程度影響を与えるか？
• RQ3 特に頑健性を目的として訓練されたモデルは、標準モデルと比較して自然なノイズ下でどの程度の性能を示すか？
• RQ4 自然に発生する動画ノイズにさらされた場合、検出のmAPにどの程度の性能低下が生じるか？
• RQ5 ビデオフレームからの知覚的に類似した画像セットは、標準的な頑健性ベンチマークと比較して、モデルの脆弱性をどの程度露呈するか？

主な発見

• 自然なノイズ下で、多様なImageNetで訓練された分類器の中央値分類精度低下は16%であることが観察された。
• Faster R-CNNおよびR-FCNを含むオブジェクト検出モデルは、自然なノイズによって平均平均精度（mAP）が中央値で14ポイント低下した。
• 自然なノイズは分類誤りと局所化誤りの両方を引き起こしており、頑健性の問題が単なる誤分類をはるかに超えることを示している。
• 頑健性を目的として訓練されたモデルですら顕著な性能低下を示しており、現在の頑健性トレーニングが自然な分布シフトを完全に解決していないことを示唆している。
• 結果として、現実の動画データにおける自然なノイズは、安全に重要なアプリケーションにおける深層学習モデルにとって顕著で、かつ軽視されがちな課題であることが示された。
• ImageNet-Video-Robustデータセットは、現実の視覚的変動下でのモデル頑健性を評価するための新しいベンチマークを提供している。