[논문 리뷰] Learning Deep Features for Discriminative Localization

Bolei Zhou, Aditya Khosla외 3명|arXiv (Cornell University)|2015. 12. 14.

Advanced Neural Network Applications참고 문헌 28인용 수 206

한 줄 요약

이 논문은 이미지 수준 레이블로 훈련된 합성곱 신경망(CNN)이 전역 평균 풀링(GAP)을 통해 약한 감독을 받는 개체 탐지를 수행할 수 있도록 하는 클래스 활성화 맵(CAM)을 소개한다. GAP과 클래스별 소프트맥스 가중치를 활용함으로써 CAM은 단일 순방향 전파 동안 클래스 구별 가능한 국소화 맵을 생성하며, ILSVRC 2014에서 37.1%의 상위-5 오차를 달성한다—완전 감독 방법과 놀랄 만큼 유사한 성능을 보이며, 경계 상자 레이블 없이도 깊이 학습된 특징이 해석 가능하고 다양한 작업 간에 이식 가능하다는 것을 입증한다.

ABSTRACT

In this work, we revisit the global average pooling layer proposed in [13], and shed light on how it explicitly enables the convolutional neural network to have remarkable localization ability despite being trained on image-level labels. While this technique was previously proposed as a means for regularizing training, we find that it actually builds a generic localizable deep representation that can be applied to a variety of tasks. Despite the apparent simplicity of global average pooling, we are able to achieve 37.1% top-5 error for object localization on ILSVRC 2014, which is remarkably close to the 34.2% top-5 error achieved by a fully supervised CNN approach. We demonstrate that our network is able to localize the discriminative image regions on a variety of tasks despite not being trained for them

연구 동기 및 목표

• 이미지 수준 레이블로 훈련된 CNN이 경계 상자 레이블 없이도 구별 가능한 이미지 영역을 국소화할 수 있도록 하는 것.
• 전역 평균 풀링(GAP)이 정규화를 넘어서 깊이 신경망에서 국소화 능력을 유지하고 향상시키는 데 기여하는지 조사하는 것.
• 결과적으로 생성된 깊이 특징이 다양한 시각 인식 작업 간에 일반화되고 이식 가능하다는 것을 입증하는 것.
• 클래스 활성화 맵(CAM)을 사용하여 클래스별 특징을 해석 가능한 시각화로 제공함으로써 CNN의 결정 과정을 더 잘 이해하는 것.

제안 방법

• 전체 연결 층을 전역 평균 풀링(GAP)으로 대체하여 공간적 특징 맵을 유지하고 국소화 기능을 가능하게 하는 것.
• 최종 합성곱 층의 특징 맵과 해당 클래스별 소프트맥스 가중치를 사용하여 클래스 활성화 맵(CAM)을 생성하는 것.
• 학습된 분류기 가중치를 사용해 특징 맵의 가중 평균을 계산하여 클래스 구별 가능한 히트맵을 생성하는 것.
• 표준 이미지 분류 손실을 사용해 네트워크를 종단 간(end-to-end)으로 훈련시켜 단일 순방향 전파 동안 국소화를 가능하게 하는 것.
• CAM 시각화를 활용해 분류에 가장 관련성이 높은 이미지 영역을 이해하는 것.
• 학습된 국소화 가능한 특징을 액션 인식, 시점 분류, 개념 탐색과 같은 제로샷 작업에 적용하는 것.

실험 결과

연구 질문

• RQ1 이미지 수준 레이블로만 훈련된 CNN이 경계 상자 감독 없이도 구별 가능한 개체 영역을 국소화할 수 있는가?
• RQ2 전역 평균 풀링(GAP)이 전역 최대 풀링이나 전체 연결 층에 비해 국소화 능력을 어떻게 유지하고 향상시키는가?
• RQ3 분류 훈련을 받은 CNN의 국소화 능력이 명시적으로 훈련되지 않은 작업으로 얼마나 일반화되는가?
• RQ4 클래스 활성화 맵(CAM)이 분류에 사용된 구별 가능한 영역을 효과적으로 시각화하고 해석할 수 있는가?
• RQ5 약한 감독 설정에서 평균 풀링을 사용할 경우 최대 풀링 대비 국소화 정확도가 어떻게 향상되는가?

주요 결과

• 제안된 CAM 방법은 ILSVRC 2014의 약한 감독 개체 탐지 벤치마크에서 37.1%의 상위-5 오차를 달성하였으며, 완전 감독 AlexNet의 34.2% 상위-5 오차와 매우 유사한 성능을 보였다.
• 전역 평균 풀링은 전체 연결 층이 공간 정보를 파괴하는 것과는 달리, 최종 레이어까지 국소화 능력을 유지할 수 있도록 한다.
• 이 방법은 네트워크가 해당 작업에 대해 훈련되지 않았음에도 불구하고 액션 인식 및 텍스트 탐지와 같은 작업에서 구별 가능한 영역을 국소화할 수 있다.
• 클래스 활성화 맵은 경계 상자 레이블 없이도 의미적으로 유의미한 영역—예를 들어, 니ection 동작에서 칫솔이나 스트리트 뷰 이미지에서 텍스트—를 성공적으로 강조한다.
• 이 기법은 깊이 신경망에서 클래스별 단위를 해석 가능한 방식으로 시각화할 수 있게 하며, 예를 들어 시점 인식에서 개 얼굴이나 소파와 같은 특정 클래스에 가장 구별적인 특징 맵을 드러낸다.
• 이 기법은 제로샷 응용 분야로 일반화되며, 시각 질문 응답과 같은 과제에서 CAM이 예측된 답변과 관련된 이미지 영역을 강조한다.