[논문 리뷰] The Costs and Benefits of Goal-Directed Attention in Deep Convolutional Neural Networks

Xiaoliang Luo, Brett D. Roads외 1명|arXiv (Cornell University)|2020. 02. 06.

Visual Attention and Saliency Detection참고 문헌 41인용 수 5

한 줄 요약

이 논문은 깊이 있는 컨volution 신경망(DCNNs)에 통합할 수 있는 플러그 앤 플레이, 목표 지향적 주의 메커니즘을 소개한다. 이 메커니즘은 중위 수준의 특징 표현을 조절하여 작업 지향 성능을 향상시킨다. 상향식 주의 가중치를 적용해 목표 관련 특징을 강화함으로써, 중간 수준의 주의 수준에서 민감도(d′)를 향상시키면서도 편향과 위양성 경고를 증가시키며, 인간의 주의 방식의 상충관계를 반영하고 표준 미세조정보다 전이 학습에서 뛰어난 성능을 보인다.

ABSTRACT

People deploy top-down, goal-directed attention to accomplish tasks, such as finding lost keys. By tuning the visual system to relevant information sources, object recognition can become more efficient (a benefit) and more biased toward the target (a potential cost). Motivated by selective attention in categorisation models, we developed a goal-directed attention mechanism that can process naturalistic (photographic) stimuli. Our attention mechanism can be incorporated into any existing deep convolutional neural network (DCNNs). The processing stages in DCNNs have been related to ventral visual stream. In that light, our attentional mechanism incorporates top-down influences from prefrontal cortex (PFC) to support goal-directed behaviour. Akin to how attention weights in categorisation models warp representational spaces, we introduce a layer of attention weights to the mid-level of a DCNN that amplify or attenuate activity to further a goal. We evaluated the attentional mechanism using photographic stimuli, varying the attentional target. We found that increasing goal-directed attention has benefits (increasing hit rates) and costs (increasing false alarm rates). At a moderate level, attention improves sensitivity (i.e., increases $d^\prime$) at only a moderate increase in bias for tasks involving standard images, blended images, and natural adversarial images chosen to fool DCNNs. These results suggest that goal-directed attention can reconfigure general-purpose DCNNs to better suit the current task goal, much like PFC modulates activity along the ventral stream. In addition to being more parsimonious and brain consistent, the mid-level attention approach performed better than a standard machine learning approach for transfer learning, namely retraining the final network layer to accommodate the new task.

연구 동기 및 목표

• 사전 훈련된 DCNN에 통합할 수 있는 생물학적으로 타당한 목표 지향적 주의 메커니즘을 개발하여 시각 인식 작업의 성능을 향상시키는 것.
• 목표 지향적 주의의 이점(민감도 향상)과 비용(위양성 증가) 사이의 상충관계를 인간 인지 처리 방식과 유사하게 조사하는 것.
• 주의 기반 재구성 방식이 표준 전이 학습 방법(예: 최종 레이어 미세조정)보다 성능이 뛰어나다는지 평가하는 것.
• 전 frontal 피질 유사 메커니즘으로부터 유도된 상향식 신호가 일반 목적의 DCNN을 특정 작업 목표에 맞게 재구성하는 방식을 탐색하는 것.
• 다양한 목표 카테고리 간 주의를 일반화하고 복잡한 검색 전략(예: 결합, 배타적 논리)을 지원할 수 있는 미래 모델의 기반을 마련하는 것.

제안 방법

• 사전 훈련된 DCNN에 중위 수준의 주의 레이어를 삽입하여, 합성곱 특징 맵의 반응에 대해 학습 가능한 주의 가중치를 적용한다.
• 주의 가중치는 특정 목표 클래스(예: '타비 고양이')와 관련된 특징 차원을 강화하거나 감쇠시키도록 훈련되어, 전 frontal 피질에서 유도된 상향식 조절을 시뮬레이션한다.
• 주의 메커니즘은 특징 활성화를 재가중하여 필터 반응의 분산을 증가시켜, 관련이 없는 필터를 효과적으로 차단하고 목표에 대한 분류 가능성을 향상시킨다.
• 신호 탐지 이론 지표인 탐지율, 위양성율, 민감도(d′)를 사용하여 표준 이미지, 혼합 이미지, 자연계의 적대적 이미지에서 성능을 평가한다.
• 동일한 네트워크 아키텍처와 훈련 프로토콜을 사용하여, 표준 전이 학습(최종 레이어 재훈련)과 비교한다.
• 주의 강도를 다양하게 조절하여 편향과 민감도에 미치는 영향을 평가하였으며, 최고 성능은 중간 수준의 주의 강도에서 관찰되었다.

실험 결과

연구 질문

• RQ1 DCNN에서 목표 지향적 주의가 목표 탐지에 대한 민감도(d′)를 향상시키는가? 만약 그렇다면, 이로 인한 이점이 최대가 되는 주의 강도 수준은 어느 정도인가?
• RQ2 목표 지향적 주의를 증가시키면 인간 인지에서 관찰되는 것처럼 탐지율 향상과 위양성율 증가 사이의 명백한 상충관계가 발생하는가?
• RQ3 중위 수준의 플러그 앤 플레이 주의 메커니즘이 일반 목적의 DCNN을 특정 작업 목표에 맞게 재구성할 수 있는가? 이는 전 frontal 피질이 복합 시각 스트림을 조절하는 방식과 유사한가?
• RQ4 주의 기반 접근 방식이 표준 전이 학습(예: 최종 레이어 미세조정)보다 다양한 이미지 유형에서 민감도와 내구성 측면에서 뛰어나게 성능을 높이는가?
• RQ5 주의 가중치는 네트워크의 표현 공간을 어떻게 재구성하는가? 그리고 이는 작업의 관련성에 따라 특정 필터를 선택적으로 억제하거나 강화하는가?

주요 결과

• 목표 지향적 주의를 증가시키면 탐지율과 민감도(d′)가 향상되며, 중간 수준의 주의 강도에서 민감도가 최고에 이른다.
• 높은 주의 강도일수록 위양성율이 증가하여, 비표적 대상에서 목표 유사 특징에 대한 주의 편향의 비용이 확인된다.
• 표준 최종 레이어 미세조정보다 주의 기반 재구성 방식이 전이 학습에서 뛰어난 성능을 보여, 더 효율적이고 표현력이 풍부한 방식임을 시사한다.
• 주의 가중치는 필터 반응의 분산을 증가시키고 목표 클래스와 관련이 없는 필터를 선택적으로 억제함으로써 네트워크를 재구성한다.
• 메커니즘은 목표 클래스를 더 분류 가능하게 만들기 위해 특징 차원을 재가중시키며, 인지 모델의 기하학적 왜곡과 유사한 방식으로 작용한다.
• 결과는 상향식 주의가 일반 목적의 DCNN을 작업 지향적으로 재구성할 수 있으며, 인간의 전 frontal 피질-시각 스트림 상호작용을 모방할 수 있음을 지지한다.