[논문 리뷰] Attention Branch Network: Learning of Attention Mechanism for Visual Explanation

Hiroshi Fukui, Tsubasa Hirakawa외 2명|arXiv (Cornell University)|2018. 12. 25.

Explainable Artificial Intelligence (XAI)참고 문헌 40인용 수 34

한 줄 요약

이 논문은 이미지 인식 성능을 향상시키기 위해 응답 기반 시각적 설명 모델을 전용 주의 분기(attention branch)에 통합한 새로운 CNN 아키텍처인 주의 분기 네트워크(ABN)를 제안한다. 추론 중에 생성된 주의 맵을 해석 가능성과 특징 정제에 동시에 활용함으로써, ABN은 이미지 분류, 세분화된 인식, 다중 작업 얼굴 속성 인식 작업에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Visual explanation enables human to understand the decision making of Deep Convolutional Neural Network (CNN), but it is insufficient to contribute the performance improvement. In this paper, we focus on the attention map for visual explanation, which represents high response value as the important region in image recognition. This region significantly improves the performance of CNN by introducing an attention mechanism that focuses on a specific region in an image. In this work, we propose Attention Branch Network (ABN), which extends the top-down visual explanation model by introducing a branch structure with an attention mechanism. ABN can be applicable to several image recognition tasks by introducing a branch for attention mechanism and is trainable for the visual explanation and image recognition in end-to-end manner. We evaluate ABN on several image recognition tasks such as image classification, fine-grained recognition, and multiple facial attributes recognition. Experimental results show that ABN can outperform the accuracy of baseline models on these image recognition tasks while generating an attention map for visual explanation. Our code is available at https://github.com/machine-perception-robotics-group/attention_branch_network.

연구 동기 및 목표

• 학습 과정에 시각적 설명을 통합함으로써 딥 CNN의 해석 가능성 부족과 성능 향상 문제를 해결하기 위해.
• 기존의 응답 기반 시각적 설명 방법이 아키텍처 수정이 필요하고 모델 정확도를 감소시킨다는 한계를 극복하기 위해.
• 종합적인 최적화를 통해 동시에 인식 정확도 향상과 주의 기반 시각적 설명을 제공하는 통합 프레임워크를 개발하기 위해.
• 다양한 CNN 아키텍처와 이미지 인식 작업(세분화된 인식 및 다중 작업 학습 포함)에 걸쳐 주의 메커니즘을 일반화하기 위해.
• 시각적 설명을 위해 사용되는 주의 맵이 모델 성능 향상에 효과적인 주의 메커니즘으로도 기능할 수 있음을 입증하기 위해.

제안 방법

• ABN은 특징 추출기, 응답 기반 주의 맵을 생성하기 위한 주의 분기, 분류를 위한 인지 분기로 구성된 삼분기 아키텍처를 도입한다.
• 주의 분기는 Class Activation Mapping(CAM)에 영감을 얻은 응답 기반 시각적 설명 메커니즘을 사용하여, 역전파 없이 특징 맵 응답에서 주의 맵을 생성한다.
• 주의 맵은 요소별 곱셈을 통해 특징 맵에 적용되어 분류 과정에서 주목할 만한 영역에 집중하도록 네트워크를 허용한다.
• 주의 분기와 인지 분기의 병합 손실을 사용하여 네트워크를 엔드 투 엔드로 훈련시켜 정확도와 설명 가능성에 대한 공동 최적화를 가능하게 한다.
• 이 방법은 모듈식이며, VGG16, ResNet, ResNeXt와 같은 다양한 백본 네트워크에 주의 분기를 특징 추출 블록 뒤에 삽입함으로써 적용 가능하다.
• 주의 메커니즘은 전역 평균 풀링 이전의 마지막 합성곱층의 출력 반응에서 유도되며, 기울기 없이 순방향 전파만으로 주의 맵 생성이 가능하다.

실험 결과

연구 질문

• RQ1 응답 기반 시각적 설명 방법을 효과적으로 주의 메커니즘으로 재사용하여 CNN 성능 향상에 기여할 수 있는가?
• RQ2 엔드 투 엔드로 훈련 가능한 네트워크가 동시에 이미지 인식 정확도 최적화와 의미 있는 시각적 설명을 제공할 수 있는가?
• RQ3 시각적 설명에서 유도된 주의 맵을 특징 학습 과정에 통합하면 다양한 이미지 인식 작업 전반에 걸쳐 일관된 성능 향상이 이루어지는가?
• RQ4 세분화된 인식과 다중 작업 얼굴 속성 예측과 같은 작업 간 주의 맵 분포의 차이는 어떠한가?
• RQ5 제안된 주의 메커니즘이 다양한 CNN 아키텍처와 인식 벤치마크에 일반화될 수 있는가?

주요 결과

• VGG16과 ResNet101을 백본으로 사용할 때, CompCars 데이터셋에서 자동차 모델 인식 정확도가 각각 4.9%와 6.2% 향상된다.
• CompCars에서 제조사 인식 작업에서, VGG16과 ResNet101을 사용할 경우 각각 2.0%와 7.5%의 정확도 향상이 이루어진다.
• CelebA 데이터셋에서 ABN은 다중 얼굴 속성 인식 평균 정확도 91.07%를 달성하여 ResNet101(90.69%)과 다른 최신 기술 수준의 모델들을 능가한다.
• ResNet101 대비 40개의 얼굴 속성 작업 중 27개에서 성능 향상을 보이며, '궁금한 눈썹'과 '목걸이 착용'과 같은 도전적인 속성에서 두드러진 성과를 기록한다.
• t-SNE 시각화 결과 ABN의 특징 맵이 더 분류 능력이 뛰어나며, 주의 유도 특징 학습 덕분에 자동차 자세와 세부 형태에 따라 더 잘 군집되어 있음을 확인할 수 있다.
• 주의 맵의 시각화 결과 ABN이 예측하고자 하는 속성에 해당하는 의미적으로 관련 있는 영역—예를 들어 눈, 입, 머리카락—에 집중하고 있음을 확인하여 주의 메커니즘의 해석 가능성에 대한 검증이 이루어졌다.