[論文レビュー] A Study and Comparison of Human and Deep Learning Recognition Performance Under Visual Distortions

Samuel Dodge, Lina J. Karam|arXiv (Cornell University)|May 6, 2017

Image Processing Techniques and Applications参考文献 17被引用数 27

ひとこと要約

本研究では、ガウスノイズやぼかしなどの視覚的歪みが加えられた画像分類において、人間と深層ニューラルネットワーク（DNN）のパフォーマンスを比較した。クリーンな画像ではDNNが人間の精度に達するかそれを上回るが、歪みのある画像ではDNNのパフォーマンスが人間に対して著しく劣り、エラーのパターンにもほとんど相関が見られず、人間とDNNの間には内部的な画像表現の根本的な違いがあることが示唆される。

ABSTRACT

Deep neural networks (DNNs) achieve excellent performance on standard classification tasks. However, under image quality distortions such as blur and noise, classification accuracy becomes poor. In this work, we compare the performance of DNNs with human subjects on distorted images. We show that, although DNNs perform better than or on par with humans on good quality images, DNN performance is still much lower than human performance on distorted images. We additionally find that there is little correlation in errors between DNNs and human subjects. This could be an indication that the internal representation of images are different between DNNs and the human visual system. These comparisons with human performance could be used to guide future development of more robust DNNs.

研究の動機と目的

• 画像にノイズやぼかしなどの視覚的歪みが加えられた状況下でも、深層ニューラルネットワーク（DNN）が人間のパフォーマンスを維持または上回るかどうかを評価すること。
• 歪みの程度を変化させた状況下で、人間とDNNの分類エラーの相関を調査し、認識戦略の類似性を評価すること。
• 人間の視覚系が画像の歪みに対して高い耐性を示す理由が、現在のDNNに欠けている表現的能力に起因しているかどうかを特定すること。
• 人間の視覚系の耐性に着目した知見を活かして、より頑健なDNNの今後の開発を支援すること。

提案手法

• 15名の被験者を対象に、追加のガウスノイズとガウスぼかしを加えた画像を用いた分類実験を実施した。
• DNNベースラインとして、クリーンなImageNetデータで学習した後、歪みのあるデータで微調整されたVGG16ネットワークを用いた。
• さまざまな歪みレベルにおける人間とDNNの予測のための誤分類行列を計算し、誤分類のパターンを分析した。
• 歪みの程度ごとに、人間とDNNの誤分類のピアソン相関係数を算出し、エラー類似度を数量的に評価した。
• 人間が正しく分類できたがDNNが誤ったケース、逆にDNNが正しく分類できたが人間が誤ったケースを特定し、画像刺激の難易度を分析した。
• クリーンな画像および歪みのある画像におけるパフォーマンス評価に、標準的なImageNet Top-5誤差率を用いた。

実験結果

リサーチクエスチョン

• RQ1 画像にノイズやぼかしが加えられた状況下でも、深層ニューラルネットワーク（DNN）は人間のパフォーマンスを維持または上回るのか？
• RQ2 画像の歪みの程度が高くなるにつれて、人間とDNNの分類エラーの相関はどのように変化するのか？
• RQ3 エラーのパターンから見た場合、人間の視覚系とDNNの間には、画像の内部表現に根本的な違いがあるのか？
• RQ4 歪みのあるデータでDNNを微調整することで、人間の被験者とのパフォーマンスギャップを埋めることができるのか？

主な発見

• ガウスノイズやぼかしが加えられた画像において、被験者がDNNよりも顕著に高い分類精度を達成しており、特に歪みの程度が高い状況で顕著であった。
• すべての歪みレベルにおいて、人間とDNNの誤分類のピアソン相関係数が低く、エラーのパターンにほとんど重複がなかった。
• 元の事前学習済みVGG16モデルは、歪みのある画像の多くをたった1〜2つのクラスに誤分類する傾向を示しており、普遍的な敵対的行動に類似していると考えられた。
• 微調整済みVGG16モデルでは、普遍的な誤分類の傾向が軽減されており、微調整による頑健性の向上が示された。
• 人間は正しく分類できたがDNNは誤った画像、逆にDNNは正しく分類できたが人間は誤った画像が存在し、人間とDNNの認識戦略の乖離を示している。
• 微調整を行ったにもかかわらず、DNNの歪みのある画像に対するパフォーマンスは人間のパフォーマンスと比べて著しく低く、頑健性のギャップが依然として存在することが示された。