[論文レビュー] Convolutional Neural Networks Deceived by Visual Illusions

Alexander Gomez-Villa, Adrián Martín+2 more|arXiv (Cornell University)|Nov 26, 2018

Advanced Vision and Imaging被引用数 5

ひとこと要約

この論文は、画像ノイズ除去、ぼかし除去、色の定常性といった低レベルビジョンタスクのために訓練された畳み込みニューラルネットワーク（CNN）が、視覚錯覚に対する人間の知覚反応を再現することを示しており、錯覚がネットワークのアーキテクチャと学習の副産物として生じることを示している。主な発見は、たとえ単純なCNNであっても、色の同化や対比効果といった錯覚を再現できることで、性能はアーキテクチャーや周波数帯域によって異なることである。

ABSTRACT

Visual illusions teach us that what we see is not always what it is represented in the physical world. Its special nature make them a fascinating tool to test and validate any new vision model proposed. In general, current vision models are based on the concatenation of linear convolutions and non-linear operations. In this paper we get inspiration from the similarity of this structure with the operations present in Convolutional Neural Networks (CNNs). This motivated us to study if CNNs trained for low-level visual tasks are deceived by visual illusions. In particular, we show that CNNs trained for image denoising, image deblurring, and computational color constancy are able to replicate the human response to visual illusions, and that the extent of this replication varies with respect to variation in architecture and spatial pattern size. We believe that this CNNs behaviour appears as a by-product of the training for the low level vision tasks of denoising, color constancy or deblurring. Our work opens a new bridge between human perception and CNNs: in order to obtain CNNs that better replicate human behaviour, we may need to start aiming for them to better replicate visual illusions.

研究の動機と目的

• 低レベルビジョンタスクのために訓練されたCNNが、人間と同様に視覚的錯覚にだまされるかどうかを調査すること。
• ドーナツ型畳み込みや残差接続といったアーキテクチャの変更が、CNNの視覚的錯覚再現能力に与える影響を調査すること。
• 視覚的錯覚の再現が、アーキテクチャ設計ではなく、タスクそのもの（例：ノイズ除去、色の定常性）に起因するかどうかを特定すること。
• 視覚的錯覚をCNNの行動を検証するベンチマークとして用いることで、人間の知覚と深層学習の間の新たな橋渡しを確立すること。
• 錯覚の再現が、より人間らしいビジョンモデルの設計や、 adversarial 攻撃に対する耐性の向上に役立つ可能性があるかどうかを検討すること。

提案手法

• 自然画像データセット上で、画像ノイズ除去、ぼかし除去、色の定常性のための単層および深層CNNを訓練した。
• 5つの古典的視覚的錯覚（Dungeon（同化）、Lum（対比）など）について、人間の知覚データとネットワーク出力を比較評価した。
• 拡張畳み込み、プーリング層、残差接続などのアーキテクチャ変更を適用し、それらが錯覚再現に与える影響を評価した。
• 標準化された評価パイプラインを用いた：モデル出力を視覚的錯覚刺激に対する人間の知覚順位付けと比較した。
• グレースケール版およびカラー版の錯覚を用いて、マルチモダリティへの一般化能力を評価した。
• 比較のため、最先端のノイズ除去CNN（Zhang2017）を用いて、単純なアーキテクチャと比較した。

実験結果

リサーチクエスチョン

• RQ1 低レベルビジョンタスクのために訓練されたCNNは、人間の視覚的錯覚への反応を再現するか？
• RQ2 拡張畳み込みや残差接続といったアーキテクチャ的要素が、視覚的錯覚の再現にどのように影響するか？
• RQ3 視覚的錯覚の再現は、CNNが訓練された特定のタスク（例：ノイズ除去対比色の定常性）に依存しているか？
• RQ4 色の訓練を受けたCNNは、グレースケールの錯覚を再現できるか？ これは視覚系における明るさ知覚の神経基盤に何を示唆するか？
• RQ5 錯覚再現は、視覚分野における深層学習モデルの人間に似た性質を向上させるためのベンチマークとして機能できるか？

主な発見

• 単層で8個のカーネルを持つ単純なCNNでさえ、色の同化や対比効果といった視覚的錯覚に対する人間の反応を再現できる。
• 拡張畳み込みや残差接続といったアーキテクチャ変更は、再現される錯覚の範囲を変化させ、一部の構成では特定の効果が抑制されたり保存されたりする。
• 残差接続は、特定の錯覚（例：DungeonやLum）に関してはグレースケールでは錯覚再現を排除できるが、カラーではできないため、モダリティに依存する効果がある。
• 最先端のノイズ除去CNN（Zhang2017）は、わずかに錯覚効果を再現しており、高精度なモデルであっても完全には知覚的歪みに影響されないわけではないことが示唆される。
• 色の訓練を受けたCNNは、グレースケールでも錯覚を再現できるため、視覚系において色と明るさ知覚の間に潜在的な関連がある可能性を示唆する。
• 錯覚の再現は一貫して起こるとは限らず、ネットワーク構造や入力パターンのサイズに応じて、ある錯覚は一貫して再現され、他の錯覚は再現されないことがある。