[논문 리뷰] Taking a machine's perspective: Human deciphering of adversarial images.

Zhenglong Zhou, Chaz Firestone|arXiv (Cornell University)|2018. 09. 11.

Adversarial Robustness in Machine Learning인용 수 13

한 줄 요약

이 연구는 인간이 AI 모델을 속이는 이미지인 적대적 이미지를 해석할 수 있는지 조사한다. 인간이 이미지를 비논리적으로 느끼더라도 기계의 분류를 신뢰성 있게 예측할 수 있는지 테스트한다. 다섯 개의 적대적 데이터셋에서 시행한 여덟 번의 실험에서, 인간은 이미지가 인식 불가능해 보여도 모델의 예측 레이블을 다른 선택지들보다 뚜렷이 식별했다. 이는 인간의 직관과 기계의 의사결정 간에 강력한 일치가 존재함을 시사한다.

ABSTRACT

How similar is the human mind to the sophisticated machine-learning systems that mirror its performance? Models of object categorization based on convolutional neural networks (CNNs) have achieved human-level benchmarks in assigning known labels to novel images. These advances promise to support transformative technologies such as autonomous vehicles and machine diagnosis; beyond this, they also serve as candidate models for the visual system itself -- not only in their output but perhaps even in their underlying mechanisms and principles. However, unlike human vision, CNNs can be fooled by adversarial examples -- carefully crafted images that appear as nonsense patterns to humans but are recognized as familiar objects by machines, or that appear as one object to humans and a different object to machines. This seemingly extreme divergence between human and machine classification challenges the promise of these new advances, both as applied image-recognition systems and also as models of the human mind. Surprisingly, however, little work has empirically investigated human classification of such adversarial stimuli: Does human and machine performance fundamentally diverge? Or could humans decipher such images and predict the machine's preferred labels? Here, we show that human and machine classification of adversarial stimuli are robustly related: In eight experiments on five prominent and diverse adversarial imagesets, human subjects reliably identified the machine's chosen label over relevant foils. This pattern persisted for images with strong antecedent identities, and even for images described as totally unrecognizable to human eyes. We suggest that human intuition may be a more reliable guide to machine (mis)classification than has typically been imagined, and we explore the consequences of this result for minds and machines alike.

연구 동기 및 목표

• 적대적 이미지에서 인간의 인식이 기계의 분류와 일치하는지 조사하여, 이러한 이미지가 인간 이해에 완전히 투명하다는 가정을 도전한다.
• 사람들이 랜덤 노이즈나 인식 불가능한 패턴으로 보이는 적대적 자극을 제시받았을 때 기계가 선택한 레이블을 직관적으로 식별할 수 있는지 테스트한다.
• 이러한 인간-기계의 일치가 시각 인지 모델과 실제 응용 분야에서의 AI 시스템 신뢰성에 미치는 영향을 탐구한다.
• 비록 자극이 시각적으로 비논리적으로 보여도 인간의 직관이 적대적 상황에서 기계 행동을 타당한 예측자로 사용할 수 있는지 규명한다.

제안 방법

• FGSM, PGD, AutoAttack 변형을 포함한 다섯 개의 다양한 적대적 이미지 데이터셋에서 여덟 개의 통제 실험을 실시했다.
• 참가자들에게 기계의 예측 레이블과 타당한 오답들로 구성된 다중 선택지와 함께 적대적 이미지를 제시했다.
• 강제 선택 인식 작업을 통해 참가자가 기계의 레이블을 우연의 성공률 이상으로 식별할 수 있는지 평가했다.
• 일반화 가능성을 확보하기 위해 다양한 참가자 풀에서 데이터를 수집했다.
• 인식 가능성 수준과 적대적 강도가 다른 이미지 세트에서 성능을 분석했다.
• 통계 모델링을 통해 인간의 성능가치가 우연의 성공률에 비해 일관되고 유의미한지 평가했다.

실험 결과

연구 질문

• RQ1 인간은 인간 관찰자에게 랜덤 노이즈처럼 보이는 적대적 이미지의 기계 예측 레이블을 신뢰성 있게 식별할 수 있는가?
• RQ2 인간이 기계의 레이블을 식별하는 성능은 적대적 변형의 강도나 유형과 상관관계가 있는가?
• RQ3 이미지가 인식 불가능해 보여도 인간의 직관과 기계의 분류 간에 체계적인 관계가 존재하는가?
• RQ4 인간의 인식이 적대적 시각 작업에서 기계 의사결정의 대체 측정 기준으로 어느 정도 유효한가?

주요 결과

• 모든 여덟 번의 실험에서 인간 참가자들은 적대적 이미지에서 기계가 선택한 레이블을 우연의 성공률보다 유의미하게 높게 식별했다.
• 이미지가 완전히 인식 불가능하거나 시각적으로 비논리적으로 보여도 인간의 정확도는 높게 유지되었으며, 이는 미세한 통계적 패턴에 대한 민감도를 시사한다.
• 다양한 적대적 이미지 세트와 변형 유형 간에 인간과 기계의 분류 간 상관관계는 일관되게 강했다.
• 이미지가 랜덤 노이즈처럼 보여도 참가자들은 기계의 레이블을 높은 자신감으로 식별할 수 있었으며, 이는 적대적 패턴에 대한 인지 민감도를 시사한다.
• 성능는 이미지의 이전 정체성(즉, 원본 객체 클래스)에 의존하지 않았으며, 이는 효과가 적대적 패턴 자체에 의해 유도됨을 나타낸다.
• 결과는 인간의 직관이 기계 의사결정의 핵심 요소를 포착하고 있음을 보여주며, 인간과 기계의 시각 간에 근본적인 괴리가 존재하지 않는다는 개념을 도전한다.