[논문 리뷰] Finding Biological Plausibility for Adversarially Robust Features via Metameric Tasks

Anne Harrington, Arturo Deza|arXiv (Cornell University)|2022. 02. 02.

Cell Image Analysis Techniques인용 수 5

한 줄 요약

이 논문은 메타머픽 자극 식별 작업을 통해 적대적 방어성 있는 딥 네ural 네트워크(DNN) 표현이 인간의 주변시각 생물학적 메커니즘과 일치하는지 조사한다. 적대적 방어성 있는 DNN에서 합성된 이미지는 주변시각에서 원본과 시각적으로 구분되지 않게 되며, 최신의 텍스처 기반 주변시각 모델과 유사한 성능을 보인다. 이는 적대적 방어성이 인간 시각에서와 유사한 국소적 텍스처 요약 통계치에 기반해 나타날 수 있음을 시사한다.

ABSTRACT

Recent work suggests that representations learned by adversarially robust networks are more human perceptually-aligned than non-robust networks via image manipulations. Despite appearing closer to human visual perception, it is unclear if the constraints in robust DNN representations match biological constraints found in human vision. Human vision seems to rely on texture-based/summary statistic representations in the periphery, which have been shown to explain phenomena such as crowding and performance on visual search tasks. To understand how adversarially robust optimizations/representations compare to human vision, we performed a psychophysics experiment using a set of metameric discrimination tasks where we evaluated how well human observers could distinguish between images synthesized to match adversarially robust representations compared to non-robust representations and a texture synthesis model of peripheral vision (Texforms). We found that the discriminability of robust representation and texture model images decreased to near chance performance as stimuli were presented farther in the periphery. Moreover, performance on robust and texture-model images showed similar trends within participants, while performance on non-robust representations changed minimally across the visual field. These results together suggest that (1) adversarially robust representations capture peripheral computation better than non-robust representations and (2) robust representations capture peripheral computation similar to current state-of-the-art texture peripheral vision models. More broadly, our findings support the idea that localized texture summary statistic representations may drive human invariance to adversarial perturbations and that the incorporation of such representations in DNNs could give rise to useful properties like adversarial robustness.

연구 동기 및 목표

• 적대적 방어성 있는 DNN 표현이 인간 주변시각과 유사한 시각적 불변성을 가지는지 테스트하기 위해.
• DNN에서 적대적 편향에 대한 불변성이 인간의 저수준 시각 계산 방식과 유사한 방식으로 유도되는지 조사하기 위해.
• 적대적 방어성 있는 DNN에서 유도된 메타머픽 자극이 시각적 망막 외부 거리가 증가함에 따라 원본과 시각적으로 구분되지 않는지 평가하기 위해.
• 비방어성 DNN, 적대적 훈련된 DNN, 그리고 텍스처 기반 주변시각 모델(Texforms)에서 유도된 자극의 식별 가능성을 시각 분야 전반에서 비교하기 위해.
• 관찰된 시각적 경향이 딥 러닝에서의 적대적 방어성에 생물학적 기반을 지닌다는 것을 뒷받침하는지 평가하기 위해.

제안 방법

• 12명의 인간 피실험자를 대상으로 이상감지 및 2AFC 매칭 작업을 수행하여 합성 자극의 시각적 식별 가능성을 평가하였다.
• 적대적으로 훈련된 DNN, 비방어성 DNN, 그리고 Texforms 모델에서 다양한 시각 처리 수준의 표현을 일치시켜 이미지를 합성하였다.
• 주변시각을 시뮬레이션하기 위해 자극을 점점 증가하는 망막 외부 거리(~30° 이내)에 제시하여 식별 가능성 경향을 측정하였다.
• 분석-합성 접근법을 적용: 인간 관찰자가 합성된 이미지와 원본 이미지를 구분하지 못하면, 모델은 시각적으로 메타머픽으로 간주된다.
• 메타머픽 식별 작업을 통해 시각 분야의 외부 거리 함수로 다양한 자극 유형에 대한 인간의 시각 성능을 비교하였다.
• 참가자 내부 성능 경향을 분석하여 방어성 DNN와 인간 주변시각 처리 간 유사성을 평가하였다.

실험 결과

연구 질문

• RQ1 적대적 방어성 있는 DNN 표현이 주변시각에서 원본과 시각적으로 구분되지 않는 자극을 생성하는가?
• RQ2 시각적 망막 외부 거리가 증가함에 따라 DNN에서 합성된 자극의 시각적 식별 가능성은 어떻게 변화하는가?
• RQ3 적대적 방어성 있는 DNN의 식별 가능성 경향은 Texforms와 같은 알려진 인간 주변시각 모델의 경향과 유사한가?
• RQ4 비방어성 DNN와 방어성 DNN에서 유도된 자극 간에 시각 분야 전반에서 시각적 식별 가능성에 유의미한 차이가 있는가?
• RQ5 결과가 DNN의 적대적 방어성이 인간 주변시각의 국소적 텍스처 기반 표현과 유사한 저수준 시각 처리 메커니즘에서 유래할 수 있음을 시사하는가?

주요 결과

• 적대적 방어성 있는 DNN에서 합성된 이미지의 식별 가능성은 30° 이상의 외부 거리에서 거의 우연수준 성능으로 감소하여, 주변시각에서 원본 자극과 강한 메타머픽 유사성을 보임을 시사한다.
• 참가자 전반에 걸쳐 방어성 DNN와 Texforms 모델의 자극에 대한 성능 경향이 유사하여, 공통된 시각적 불변성 메커니즘이 존재할 가능성을 시사한다.
• 반면, 비방어성 DNN 자극의 식별 가능성은 외부 거리에 따라 거의 변화하지 않아 주변시각에서의 시각적 일치성이 없음을 나타낸다.
• 결과는 적대적 방어성 표현이 인간 주변시각 처리의 핵심 요소, 특히 국소적 텍스처 요약 통계치를 잘 반영하고 있음을 지지한다.
• 이러한 발견은 DNN에서의 적대적 방어성이 Texforms가 모델링한 바와 같은 중간 수준의 시각 처리에서 공통된 메커니즘을 통해 생물학적으로 타당한 기반을 지닐 수 있음을 시사한다.
• 이 연구는 DNN에서의 적대적 방어성이 인간 주변시각의 특성과 유사한, 특히 텍스처 기반 표현에 기반한 불변성에서 유래할 수 있음을 뒷받침하는 증거를 제공한다.