[論文レビュー] Using Videos to Evaluate Image Model Robustness

Keren Gu, Brandon Yang+3 more|arXiv (Cornell University)|Apr 22, 2019

Adversarial Robustness in Machine Learning参考文献 20被引用数 31

ひとこと要約

本稿では、連続する動画フレーム間での微小で自然な変換に対するロバスト性である「自然的ロバスト性」を導入し、YouTube-BoundingBoxesデータセットを用いて評価している。より正確なモデルであるほど自然的ロバスト性が高く、合成色歪みは自然的ロバスト性の強力な代理指標であることが判明した。一方、敵対的訓練はアーキテクチャを問わず自然的ロバスト性を体系的・一貫して向上させないことが示された。

ABSTRACT

Human visual systems are robust to a wide range of image transformations that are challenging for artificial networks. We present the first study of image model robustness to the minute transformations found across video frames, which we term "natural robustness". Compared to previous studies on adversarial examples and synthetic distortions, natural robustness captures a more diverse set of common image transformations that occur in the natural environment. Our study across a dozen model architectures shows that more accurate models are more robust to natural transformations, and that robustness to synthetic color distortions is a good proxy for natural robustness. In examining brittleness in videos, we find that majority of the brittleness found in videos lies outside the typical definition of adversarial examples (99.9\%). Finally, we investigate training techniques to reduce brittleness and find that no single technique systematically improves natural robustness across twelve tested architectures.

研究の動機と目的

• 従来の敵対的ロバスト性研究で無視されてきた、連続する動画フレーム間で生じる微小な自然変換に対する画像モデルのロバスト性を調査すること。
• ドメインシフトの問題を避けるために、実世界の動画データを用いた自然的ロバスト性のベンチマークを確立すること。
• 既存の訓練手法が自然変換に対するロバスト性を向上させるかどうか、および敵対的ロバスト性と自然的ロバスト性の相関関係を特定すること。
• 実用的観点から、合成歪み（例：色相のずれ）が自然的ロバスト性を評価するための信頼できる代理指標として機能するかどうかを評価すること。

提案手法

• 自然な変換に対するモデルのロバスト性を評価するために、210,000本の動画からなる380,000件の編集なし動画セグメントを含むYouTube-BoundingBoxes（YT-BB）データセットを用いる。
• 自然的ロバスト性を、アンカーフレームで正しく分類された条件下で、隣接するフレームでの分類精度として定義し、式 $ R_d(f) = P(f(d(x)) = y \mid f(x) = y) $ を用いる。
• 合成歪み（例：色 saturation、色相、ノイズ）および敵対的例を用いて、摂動の大きさを $ L_\infty $ ノルムで定量化することで、自然的ロバスト性と比較する。
• ドメイン整合性を確保するため、12種類のモデルアーキテクチャ（例：ResNet、MobileNet、VGG）をYT-BB分類タスクにファインチューニングして評価する。
• すべてのアーキテクチャに、敵対的ロジットペアリング、重み減衰、ラベルスムージング、ロジット圧縮などの正則化および敵対的訓練手法を適用してテストする。
• 連続するフレーム間の破綻しやすいペアと敵対的例との重複度を、$ L_\infty $ 距離を測定し、一般的な $ \epsilon = 16 $ の敵対的例の境界と比較することで分析する。

実験結果

リサーチクエスチョン

• RQ1 モデルの精度は、動画フレーム間の自然変換に対するロバスト性とどの程度相関しているか？
• RQ2 合成歪み（例：色調のずれ）は、自然的ロバスト性の有効な代理指標としてどの程度機能するか？
• RQ3 動画フレームで観察される破綻の多くが、一般的な敵対的例定義（$ L_\infty \leq 16 $）の外側に位置する割合はどの程度か？
• RQ4 標準的な敵対的訓練や正則化手法が、多様なモデルアーキテクチャ全体にわたり自然的ロバスト性を体系的・一貫して向上させるか？
• RQ5 自然なフレーム間変換の大きさと、敵対的例で用いられる $ L_\infty $ ノルムとの関係は何か？

主な発見

• より正確な画像モデルアーキテクチャであるほど、顕著に高い自然的ロバスト性を示し、トップ-1精度と動画フレーム遷移におけるロバスト性に強い相関関係がある。
• 合成色歪み（例：色 saturation と色相のずれ）は自然的ロバスト性と強く相関しており、動画データを一切用いずにロバスト性を評価するための有効な代理指標である。
• 破綻しやすい動画フレームペアのうち、わずか 0.01% のみが一般的な $ L_\infty \leq 16 $ の敵対的例定義に含まれており、動画の破綻の大部分が敵対的ロバスト性の定義ではカバーされていないことが示された。
• 連続する動画フレーム間（66ms間隔）の平均 $ L_\infty $ 距離は 213 ± 49.1 であり、一般的な敵対的摂動の閾値をはるかに上回っている。
• 12種類のテストアーキテクチャすべてにわたって、正則化や敵対的訓練手法が自然的ロバスト性を体系的・一貫して向上させるものではないが、特定の手法は一部のモデルに有効である（例：重み減衰はResNet-152のロバスト性を1.2%向上）。
• ImageNetモデルを直接YT-BBデータセットにファインチューニングすると、平均で27%の精度低下が生じ、ロバスト性評価におけるドメイン整合性の重要性が浮き彫りになった。