[論文レビュー] Strike (with) a Pose: Neural Networks Are Easily Fooled by Strange Poses of Familiar Objects

Michael A. Alcorn, Qi Li+5 more|arXiv (Cornell University)|Nov 28, 2018

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本論文は、3次元レンダラーを用いたフレームワークを提案し、深層ニューラルネットワーク（DNN）における分布外（OoD）の失敗を、6次元オブジェクトポーズ（3次元の並進と回転）を最適化することで特定する。実験の結果、熟知されたImageNetオブジェクトの97%のポーズバリエーションが、最先端の画像分類器をだますことが判明。敵対的ポーズはモデル間で転送可能であり、実世界の画像に対しても同様に適用可能で、標準ベンチマークでの高い精度にもかかわらず、現在のDNNに根本的なロバストネスのギャップが存在することが明らかになった。

ABSTRACT

Despite excellent performance on stationary test sets, deep neural networks (DNNs) can fail to generalize to out-of-distribution (OoD) inputs, including natural, non-adversarial ones, which are common in real-world settings. In this paper, we present a framework for discovering DNN failures that harnesses 3D renderers and 3D models. That is, we estimate the parameters of a 3D renderer that cause a target DNN to misbehave in response to the rendered image. Using our framework and a self-assembled dataset of 3D objects, we investigate the vulnerability of DNNs to OoD poses of well-known objects in ImageNet. For objects that are readily recognized by DNNs in their canonical poses, DNNs incorrectly classify 97% of their pose space. In addition, DNNs are highly sensitive to slight pose perturbations. Importantly, adversarial poses transfer across models and datasets. We find that 99.9% and 99.4% of the poses misclassified by Inception-v3 also transfer to the AlexNet and ResNet-50 image classifiers trained on the same ImageNet dataset, respectively, and 75.5% transfer to the YOLOv3 object detector trained on MS COCO.

研究の動機と目的

• 自己走行車両が不慣れなオブジェクトの視点に直面するなど、実世界の状況において深層ニューラルネットワーク（DNN）がなぜ分布外（OoD）入力で失敗するかを調査すること。
• 3次元レンダラーと最適化を用いて、DNNの誤分類を引き起こす特定の6次元オブジェクトポーズ（3次元並進と回転）である敵対的ポーズ（AXs）を同定・生成すること。
• 異なるDNNアーキテクチャ（例：Inception-v3、AlexNet、ResNet-50、YOLOv3）およびデータセット（ImageNet、MS COCO）間でのこれらの敵対的ポーズの転送性を評価すること。
• 生成された敵対的ポーズに対する敵対的訓練が、同じクラスに属する未観測オブジェクトへの一般化を改善するかを評価すること。
• 人間が認識可能な画像でも、不自然なポーズでは高信頼度のDNN予測が誤りになることの証明により、真のオブジェクト認識とは言えないという主張に疑問を呈すること。

提案手法

• フレームワークは、6次元ポーズパラメータ（3次元並進と回転）を2次元画像出力にマップする微分可能3次元レンダラーを用い、勾配ベースの最適化を可能にしている。
• 問題を、ターゲットDNN分類器の損失を最大化するようにポーズパラメータを最適化する問題として定式化し、有限差分法または微分可能レンダラーを通じたバックプロパゲーションを用いる。
• 敵対的ポーズ（AXs）は、視覚的に妥当な範囲を保ちつつ、誤分類の確信度を最大化するように、反復的にオブジェクトポーズパラメータを調整することで生成される。
• フレームワークの評価にあたり、自動運転車両に関連するImageNetクラスに属する30個の3次元オブジェクトから構成される自己構築データセットが使用された。
• 敵対的訓練は、1オブジェクトあたり1,350枚の高信頼度の敵対的画像をImageNetデータセットに追加し、再訓練することで実施され、一般化性能の評価がなされた。
• 転送性の評価は、複数のモデルに対する敵対的ポーズのテスト、および実写画像とそれに対応するレンダリング済み敵対的ポーズの比較によって行われた。

実験結果

リサーチクエスチョン

• RQ1 熟知されたImageNetオブジェクトの6次元分布外（OoD）ポーズに対して、最先端の画像分類器は、視覚的に妥当で人間が認識可能な状態であっても、どの程度失敗するのか？
• RQ2 敵対的ポーズは、分類器（例：Inception-v3、AlexNet、ResNet-50）およびオブジェクト検出器（例：YOLOv3）といった、異なるDNNアーキテクチャ間でどの程度転送可能か？
• RQ3 3次元レンダリングで生成された敵対的ポーズに対する敵対的訓練は、同じクラスに属する保持済みオブジェクトへのDNNの一般化を向上させるか？
• RQ4 3次元レンダラーから生成された敵対的ポーズは、実世界のOoD例に対応しており、実写写真に対してもモデルをだますことができるか？
• RQ5 オブジェクトの幾何学的形状（例：球形対複雑形状）は、DNNのポーズ変化に対するロバストネスにどのような役割を果たすか？

主な発見

• 30個のImageNetオブジェクトについて、6次元ポーズ空間全体のうち、DNNが正しく分類するのはたったの3.09%にとどまり、ポーズ変化に対して極めて脆弱であることが示された。
• 敵対的ポーズは、わずか10.31°、8.02°、9.17°のヨー、ピッチ、ロールの摂動で生成可能であり、誤分類を引き起こした。
• Inception-v3に対して生成された敵対的ポーズの99.9%がAlexNetへ、99.4%がResNet-50へと転送可能であり、分類器間での高い転送性が確認された。
• YOLOv3オブジェクト検出器に対しても75.5%の敵対的ポーズが転送可能であり、ポーズに基づく失敗がオブジェクト検出モデルにも広がっていることが示された。
• 生成されたポーズに対する敵対的訓練により、敵対的セットの検証精度は96.7%まで向上したが、保持済みオブジェクトへの一般化性能は向上しなかった。これは、ロバストネスの向上が限定的であることを示唆している。
• Inception-v3が誤分類した実写写真の98.3%が、レンダリング済みの敵対的ポーズと一致しており、実世界への転送性が確認された。