[논문 리뷰] Learn To Pay Attention

Saumya Jetley, Nicholas A. Lord외 2명|arXiv (Cornell University)|2018. 04. 06.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 124

한 줄 요약

엔드-투-엔드로 학습 가능한 주의 모듈을 CNN에 사용하여 글로벌 이미지 디스크립터를 쿼리로 사용해 다중 스케일, 위치 기반 주의를 계산; 분류 및 약한 지도 분할(weakly supervised segmentation)을 개선하고, 일부 적대적 강건성 이득을 제공한다.

ABSTRACT

We propose an end-to-end-trainable attention module for convolutional neural network (CNN) architectures built for image classification. The module takes as input the 2D feature vector maps which form the intermediate representations of the input image at different stages in the CNN pipeline, and outputs a 2D matrix of scores for each map. Standard CNN architectures are modified through the incorporation of this module, and trained under the constraint that a convex combination of the intermediate 2D feature vectors, as parameterised by the score matrices, must extit{alone} be used for classification. Incentivised to amplify the relevant and suppress the irrelevant or misleading, the scores thus assume the role of attention values. Our experimental observations provide clear evidence to this effect: the learned attention maps neatly highlight the regions of interest while suppressing background clutter. Consequently, the proposed function is able to bootstrap standard CNN architectures for the task of image classification, demonstrating superior generalisation over 6 unseen benchmark datasets. When binarised, our attention maps outperform other CNN-based attention maps, traditional saliency maps, and top object proposals for weakly supervised segmentation as demonstrated on the Object Discovery dataset. We also demonstrate improved robustness against the fast gradient sign method of adversarial attack.

연구 동기 및 목표

• CNN 분류를 향상시키기 위해 두드러진 이미지 영역을 강조하는 통합 주의 메커니즘을 동기화하고 설계한다.
• 학습된 주의 점수에 의해 가이드되는 로컬 특징 벡터의 볼록 결합으로 분류를 수행할 수 있게 한다.
• 다중 데이터셋에서 성능 향상을 얻을 수 있도록 기존 아키텍처(VGG, ResNet 등)에 다중 스케일 주의를 추가할 수 있음을 보인다.
• 약한 지도 분할과 적대적 강건성에 대한 주의 맵의 유용성을 탐구한다.
• 보지 못한 데이터셋에 대한 교차 도메인 일반화를 평가한다.

제안 방법

• 중간 계층에서 로컬 특징 벡터와 전역 특징 벡터 g를 정의한다.
• 학습 가능한 호환성 함수 C를 통해 로컬 특징과 g 사이의 호환성 점수를 계산한다.
• softmax로 점수를 정규화하여 주의 가중치를 얻고 주의 가중치가 적용된 전역 디스크립터 ga를 형성한다.
• 최종 분류를 위해 원래의 전역 디스크립터를 ga로 대체하고 교차 엔트로피 손실로 엔드-투-엔드 학습을 가능하게 한다.
• 단일/다중 계층, 점곱(dot-product) 대 매개변수화된 호환성, 계층 간 연결(concatenation) 또는 독립 분류기 등 다중 구성의 조합을 조사한다.
• VGG 및 ResNet 아키텍처에 주의를 적용하고 CIFAR-10/100, CUB-200-2011, SVHN 및 교차 도메인 데이터셋에서 평가한다; 또한 약한 지도 분할 및 적대적 강건성도 평가한다.

실험 결과

연구 질문

• RQ1 엔드-투-엔드로 학습 가능한 주의 모듈을 포함하는 것이 표준 및 미세한 구분 데이터셋에서 이미지 분류 성능을 향상시키는가?
• RQ2 주의 가중 표현이 도메인 이동 데이터에 대한 일반화를 향상시키는가?
• RQ3 픽셀 수준 주석 없이도 주의 맵이 약한 지도 분할에 효과적인가?
• RQ4 제안된 주의 메커니즘은 적대적 섭동에 대한 강건성에 어떤 영향을 미치는가?
• RQ5 객체 부위와 전체 객체에 걸친 인식에서 다중 스케일 주의(계층 간)가 어떤 영향을 미치는가?

주요 결과

• 주의가 강화된 네트워크는 CIFAR-10/100, CIFAR/CUB/SVHN 미세 구분 과제 및 교차 도메인 데이터셋에서 베이스라인보다 우수하다.
• 다층 주의(마지막 2–3 레벨)는 비주의 베이스라인 및 기존 주의 방법들(GAP, PAN)보다 주목할 만한 이득을 제공합니다.
• 제안 방식의 이진화된 주의 맵은 Object Discovery에서 약한 지도 분할을 위한 다른 CNN 기반 주의 맵들, 전통적인 시각 맵들, 그리고 상위 객체 제안들보다 우수하다.
• 주의를 활용한 모델은 낮은 to 중간 L∞ 노름에서 적대적 섭동에 대한 강건성이 향상되며, 더 높은 섭동 수준에서 격차가 좁아진다.
• 주의 맵은 객체 영역에 초점을 맞추고 배경을 억제하며, 계층별 특화가 있다(하위 계층은 주변 환경, 상위 계층은 중심 객체).
• 교차 도메인 결과는 CIFAR 기반 모델을 보지 못한 데이터셋으로 전이할 때 평균 여유 약 6%로 일관된 개선을 나타낸다.