[논문 리뷰] Understanding More about Human and Machine Attention in Deep Neural Networks

Qiuxia Lai, Salman Khan외 4명|arXiv (Cornell University)|2019. 06. 20.

Visual Attention and Saliency Detection참고 문헌 91인용 수 15

한 줄 요약

이 논문은 세 가지 컴퓨터 비전 작업—주목할 만한 객체 분할, 비디오 동작 인식, 미세 분류—에서 인간의 시각적 주의와 딥 네ural 네트워크의 인공 주의 간 일치성을 조사한다. 실제 인간의 시선 데이터를 기준으로 하여, 인간의 주의에 더 가까운 주의 메커니즘을 갖춘 모델이 특히 저수준, 주의 기반 작업에서 더 뛰어난 성능과 강건성을 보임을 입증하며, 네트워크 설계 시 명시적인 일치를 고려할 것을 주장하여 해석 가능성과 성능 향상을 도모한다.

ABSTRACT

Human visual system can selectively attend to parts of a scene for quick perception, a biological mechanism known as Human attention. Inspired by this, recent deep learning models encode attention mechanisms to focus on the most task-relevant parts of the input signal for further processing, which is called Machine/Neural/Artificial attention. Understanding the relation between human and machine attention is important for interpreting and designing neural networks. Many works claim that the attention mechanism offers an extra dimension of interpretability by explaining where the neural networks look. However, recent studies demonstrate that artificial attention maps do not always coincide with common intuition. In view of these conflicting evidence, here we make a systematic study on using artificial attention and human attention in neural network design. With three example computer vision tasks, diverse representative backbones, and famous architectures, corresponding real human gaze data, and systematically conducted large-scale quantitative studies, we quantify the consistency between artificial attention and human visual attention and offer novel insights into existing artificial attention mechanisms by giving preliminary answers to several key questions related to human and artificial attention mechanisms. Overall results demonstrate that human attention can benchmark the meaningful `ground-truth' in attention-driven tasks, where the more the artificial attention is close to human attention, the better the performance; for higher-level vision tasks, it is case-by-case. It would be advisable for attention-driven tasks to explicitly force a better alignment between artificial and human attention to boost the performance; such alignment would also improve the network explainability for higher-level computer vision tasks.

연구 동기 및 목표

• 딥 네럴 네트워크의 인공 주의가 작업 특화 조건 하에서 인간의 시각적 주의와 일치하는지 조사하는 것.
• 인간의 주의가 주의 기반 컴퓨터 비전 작업에서 의미 있는 주의의 신뢰할 수 있는 '기준'이 될 수 있는지 평가하는 것.
• 네트워크 아키텍처, 깊이, 주의 메커니즘 설계가 인공 주의와 인간 주의 간 일관성에 미치는 영향을 분석하는 것.
• 주의 일치가 적대적 공격에 대한 모델의 강건성과 예측 정확도에 미치는 영향을 평가하는 것.
• 딥 러닝에서 더 해석 가능하고 효과적인 주의 메커니즘을 설계하기 위한 실질적인 통찰을 제공하는 것.

제안 방법

• 연구는 제어된, 목표 중심의 작업 조건 하에서 수집된 실제 인간의 시선 데이터를 인간의 주의를 대체로 사용한다.
• 세 가지 비전 작업을 대상으로 여러 딥 러닝 백본(AlexNet, VGGNet, ResNet)과 아키텍처(Two-stream, FCN)를 평가한다.
• 학습된 모델에서 인공 주의 맵을 추출하고, 상관관계 및 겹침과 같은 일관성 지표를 사용하여 인간의 시선 맵와 정량적으로 비교한다.
• 활성화 함수(sigmoid, softmax), 융합 전략(조기 융합 대 후기 융합), 인간 주의에 의한 감독 등의 아블레이션 연구를 포함한다.
• 모델 안정성에서의 주의의 역할을 평가하기 위해 FGSM 적대적 공격 하에서 강건성 테스트를 실시한다.
• 일반화 가능성을 확보하기 위해 다양한 데이터셋과 네트워크 구성에서 대규모이고 체계적인 평가를 수행한다.

실험 결과

연구 질문

• RQ1 작업 특화 설정 하에서 딥 네럴 네트워크의 인공 주의 맵이 인간의 시각적 주의와 어느 정도 일치하는가?
• RQ2 인간의 주의가 주의 기반 딥 러닝 모델에서 의미 있는 주의를 평가하는 데 신뢰할 수 있는 기준이 될 수 있는가?
• RQ3 네트워크 아키텍처, 깊이, 주의 메커니즘 설계는 인공 주의와 인간 주의 간 일관성에 어떤 영향을 미치는가?
• RQ4 인공 주의를 인간 주의와 일치시킬 경우 모델의 성능 향상과 적대적 공격에 대한 강건성 향상이 이루어지는가?
• RQ5 다양한 비전 작업 간에 주의 품질과 예측 정확도 사이에 일관된 관계가 존재하는가?

주요 결과

• 인간의 시선 패턴과 더 일치하는 인공 주의 메커니즘을 갖춘 모델이 특히 주목할 만한 객체 분할 및 미세 분류와 같은 저수준 작업에서 뚜렷이 뛰어난 성능을 보인다.
• 인간의 주의는 주의 기반 작업에서 의미 있는 주의의 유효하고 효과적인 기준이 되며, 높은 일치도가 모델 정확도 향상과 관련이 있다.
• ResNet 기반 모델은 VGGNet이나 AlexNet보다 항상 더 인간과 유사한 주의 맵을 생성하며, 인간 주의 감독에서 더 큰 이점을 얻는다.
• 활성화 함수의 선택(예: 비디오 동작 인식에 적합한 sigmoid, 미세 분류에 적합한 softmax)은 주의 맵 품질과 모델 성능에 상당한 영향을 미친다.
• 정확한 시각적 세부 사항에 주의를 기울일 경우 강건성이 향상되며, 인간 주의와 일치하는 주의를 갖는 모델가 FGSM 적대적 공격에 대해 뚜렷이 더 높은 저항성을 보인다.
• 비디오 동작 인식과 같은 고수준 작업에서는 주의 일치가 유익하지만 예측 가능성이 낮으며, 이는 작업의 복잡성이 인간 주의와의 직접 일치를 제한함을 시사한다.