[論文レビュー] Minimal Images in Deep Neural Networks: Fragile Object Recognition in Natural Images

Sanjana Srivastava, Guy Ben-Yosef+1 more|arXiv (Cornell University)|Feb 8, 2019

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、敵対的摂動が存在しない状況でも、サイズや位置の微小な変更によって深層ニューラルネットワーク（DNN）の分類精度が著しく低下する自然画像の領域、すなわち壊れやすい認識画像（FRIs）を紹介する。DNNは人間よりもはるかに壊れやすく、FRIsは位置不変性の問題とは独立して頻発し、正則化やプーリングですらもその影響を除去できない。これはDNNにおける重要なロバストネスのギャップを露呈する。

ABSTRACT

The human ability to recognize objects is impaired when the object is not shown in full. "Minimal images" are the smallest regions of an image that remain recognizable for humans. Ullman et al. 2016 show that a slight modification of the location and size of the visible region of the minimal image produces a sharp drop in human recognition accuracy. In this paper, we demonstrate that such drops in accuracy due to changes of the visible region are a common phenomenon between humans and existing state-of-the-art deep neural networks (DNNs), and are much more prominent in DNNs. We found many cases where DNNs classified one region correctly and the other incorrectly, though they only differed by one row or column of pixels, and were often bigger than the average human minimal image size. We show that this phenomenon is independent from previous works that have reported lack of invariance to minor modifications in object location in DNNs. Our results thus reveal a new failure mode of DNNs that also affects humans to a much lesser degree. They expose how fragile DNN recognition ability is for natural images even without adversarial patterns being introduced. Bringing the robustness of DNNs in natural images to the human level remains an open challenge for the community.

研究の動機と目的

• オブジェクトの可視領域がわずかに変化した場合に、深層ニューラルネットワーク（DNN）が人間と同様に壊れやすい認識行動を示すかどうかを調査すること。
• 最新のDNNにおける壊れやすい認識画像（FRIs）を特定・特徴づけること。FRIsとは、小さなシフトやサイズ変更によって大きな分類誤差を引き起こす画像領域を定義する。
• FRIsが、オブジェクトの位置シフトに対する不変性の欠如といった、既に研究済みのDNNの失敗とは異なるものかどうかを特定すること。
• データ拡張、正則化、プーリングといった一般的なロバストネス向上技術が、FRIsに起因する誤差をどれほど軽減できるかを評価すること。
• サイズ、位置、頻度、認識性能の観点から、人間の最小画像とDNNのFRIsを比較し、脆弱性のパターンにおける根本的な違いを明らかにすること。

提案手法

• 微小な変更（例：1ピixelのシフト、2ピixelの縮小）に対するDNN分類の信頼度と出力ラベルの変化を測定することで、画像領域を体系的にクロップし、壊れやすい認識画像（FRIs）を同定した。
• ImageNetを用いて最新のモデル（VGG-16、Inception、ResNet）を対象とし、最小限の空間的摂動下での認識精度と信頼度の変化を評価した。
• Ullmanら（2016年）のヒトの最小画像と比較し、Mechanical Turkを用いたヒト被験者による実験を通じて、DNNが生成したFRIsに対する認識性能を評価した。
• データ拡張、L2正則化、および大きなプーリング層を適用し、それらがFRIsの頻度と深刻度に与える影響を評価し、ベースラインモデルと比較した。
• スケーリングアーティファクトがFRIs効果の原因でないことを確認するため、画像クロッピング時にアップスケーリングの代わりにゼロパディングを用いた。これにより、結果の堅牢性を裏付けた。
• 交差領域（IoU）を用いてヒトの最小画像とDNNのFRIsの空間的重複度を分析し、領域の位置やオブジェクト部の重要性の違いを評価した。

実験結果

リサーチクエスチョン

• RQ1 敵対的摂動が存在しない状況でも、自然画像においてオブジェクトの可視領域がわずかに変化した場合に、深層ニューラルネットワーク（DNN）は壊れやすい認識行動を示すか？
• RQ2 DNNにおける壊れやすい認識領域の頻度、サイズ、空間的位置は、ヒトの最小画像と比較してどのように異なるか？
• RQ3 DNNにおける壊れやすい認識は、オブジェクトの位置シフトに対する不変性の欠如といった既知の失敗とは独立しているか？
• RQ4 データ拡張、正則化、プーリングといった一般的なロバストネス技術が、DNNにおけるFRIsの発生を効果的に低減できるか？
• RQ5 ヒトはDNNが生成したFRIsに対して同様の脆弱性を示すか、それともこのような微小な画像領域の変更に対しては依然としてロバストであるか？

主な発見

• 最新のDNNにおいて壊れやすい認識画像（FRIs）は豊富に存在し、平均で1枚あたり13.4個も発生する。これはヒトの最小画像（1枚あたり5.3個）の2倍以上にのぼる。
• DNNでは、正しく分類されたFRIペアと誤って分類されたFRIペアの間で、平均して56%の信頼度ギャップが生じるが、同じ画像ペアにおいてヒトの認識精度の差はわずか14.5%にとどまる。
• FRIsは通常のヒトの最小画像よりも大きな領域に発生し、その位置は意味のあるオブジェクト部ではなく、しばしば背景ピクセルに対応しており、ヒトの最小画像とは対照的である。
• ヒトの最小画像マップとDNNのFRIsマップの間の交差領域（IoU）は6%未満であり、空間的重複度が極めて低く、脆弱性のパターンが著しく異なることが示された。
• データ拡張、正則化、および大きなプーリング層はFRIsの発生を軽減するが、完全に排除することはできず、プーリングは壊れやすい認識にほとんど影響を与えない。これは、位置不変性の欠如よりも複雑な失敗モードであることを示唆する。
• アップスケーリングの代わりにゼロパディングを用いた場合でも、この現象は継続するため、スケーリングアーティファクトが原因でないことが裏付けられ、生物学的にインスパイアされたDNNにおいても同様に観察された。これは、現在のアーキテクチャの根本的特性であることを確認した。