[論文レビュー] Finding Biological Plausibility for Adversarially Robust Features via Metameric Tasks

Anne Harrington, Arturo Deza|arXiv (Cornell University)|Feb 2, 2022

Cell Image Analysis Techniques被引用数 5

ひとこと要約

この論文は、メタメリックな刺激識別タスクを用いて、敵対的に頑健な深層ニューラルネットワーク（DNN）の表現が、人間の周辺視覚における生物学的メカニズムと一致するかを調査している。敵対的頑健性を持つDNNから合成された画像は、視覚の周辺部において元の画像と認識的に区別がつかなくなることが判明した——これは、最先端のテクスチャベースの周辺モデルと同等の性能を示している。これは、敵対的頑健性が人間の視覚と同様に、局所的なテクスチャ要約統計量に基づくものである可能性を示唆している。

ABSTRACT

Recent work suggests that representations learned by adversarially robust networks are more human perceptually-aligned than non-robust networks via image manipulations. Despite appearing closer to human visual perception, it is unclear if the constraints in robust DNN representations match biological constraints found in human vision. Human vision seems to rely on texture-based/summary statistic representations in the periphery, which have been shown to explain phenomena such as crowding and performance on visual search tasks. To understand how adversarially robust optimizations/representations compare to human vision, we performed a psychophysics experiment using a set of metameric discrimination tasks where we evaluated how well human observers could distinguish between images synthesized to match adversarially robust representations compared to non-robust representations and a texture synthesis model of peripheral vision (Texforms). We found that the discriminability of robust representation and texture model images decreased to near chance performance as stimuli were presented farther in the periphery. Moreover, performance on robust and texture-model images showed similar trends within participants, while performance on non-robust representations changed minimally across the visual field. These results together suggest that (1) adversarially robust representations capture peripheral computation better than non-robust representations and (2) robust representations capture peripheral computation similar to current state-of-the-art texture peripheral vision models. More broadly, our findings support the idea that localized texture summary statistic representations may drive human invariance to adversarial perturbations and that the incorporation of such representations in DNNs could give rise to useful properties like adversarial robustness.

研究の動機と目的

• 敵対的頑健なDNN表現が、人間の周辺視覚と同様の知覚的不変性を示すかどうかをテストすること。
• DNNにおける敵対的摂動への不変性が、人間の視覚と同様の低レベルの視覚的計算から生じるかどうかを調査すること。
• 敵対的頑健なDNNから得られるメタメリックな刺激が、網膜の中心からの距離が増加するにつれて、元の画像と知覚的に区別できなくなるかどうかを評価すること。
• 視覚野全域にわたる、敵対的に訓練されたDNN、非頑健なDNN、およびテクスチャベースの周辺モデル（Texforms）からの刺激の識別可能性を比較すること。
• 観察された知覚的傾向が、深層学習における敵対的頑健性の生物学的根拠を支持するかどうかを評価すること。

提案手法

• 12名の被験者を用いて、奇抜性タスクおよび2AFCマッチングタスクを実施し、合成された刺激の知覚的識別可能性を評価した心理物理学実験を実施した。
• 視覚処理の異なる段階での表現を再現するために、敵対的に訓練されたDNN、非頑健なDNN、およびTexformsモデルから画像を合成した。
• 視覚の周辺部を模倣するため、網膜の中心からの距離を増加させた（最大約30°）刺激を提示し、識別可能性の傾向を測定した。
• 分析による合成アプローチを採用した：人間被験者が合成画像と元の画像を区別できない場合、モデルは知覚的にメタメリックであるとみなされた。
• 網膜の中心からの距離を関数として、異なるタイプの刺激に対する人間の知覚的性能を比較するためのメタメリック識別タスクを実施した。
• 被験者内でのパフォーマンス傾向を分析し、頑健なDNNと人間の周辺視覚処理との類似性を評価した。

実験結果

リサーチクエスチョン

• RQ1 敵対的頑健なDNN表現が、視覚の周辺部で元の画像と知覚的に区別がつかない画像を生成するか？
• RQ2 網膜の中心からの距離が増加するにつれて、DNNから合成された画像の知覚的識別可能性はどのように変化するか？
• RQ3 敵対的頑健なDNNの識別可能性傾向は、Texformsのような既知の人間周辺視覚モデルの傾向と一致するか？
• RQ4 視覚野全域にわたって、頑健なDNNと非頑健なDNNからの刺激の知覚的識別可能性に有意な差があるか？
• RQ5 結果から、DNNにおける敵対的頑健性が、人間の周辺視覚と同様に、局所的なテクスチャベースの表現に起因する可能性があると示唆されるか？

主な発見

• 敵対的頑健なDNNから合成された画像の識別可能性は、30°を超える中心からの距離でほぼ運任せんの性能にまで低下し、周辺部で元の画像と強くメタメリックに類似していることを示している。
• 被験者全体にわたる、頑健なDNNとTexformsモデルの刺激のパフォーマンス傾向は非常に類似しており、共通する知覚的不変性メカニズムがあると示唆している。
• これに対して、非頑健なDNNからの刺激の識別可能性は、中心からの距離が増加してもほとんど変化せず、周辺部での知覚的一致が確認されなかった。
• 結果から、敵対的頑健な表現が、特に局所的なテクスチャ要約統計量を含む、人間の周辺視覚処理の重要な側面を捉えていることが支持された。
• これらの発見は、敵対的頑健性が、Texformsがモデル化するような中レベルの視覚処理における共通のメカニズムを通じて生物学的妥当性と関連している可能性を示唆している。
• 本研究は、敵対的頑健性が、人間の周辺視覚と同様に、テクスチャベースの表現に類似した不変性から生じる可能性があるという証拠を提供している。