[논문 리뷰] Global Weighted Average Pooling Bridges Pixel-level Localization and Image-level Classification

Suo Qiu|arXiv (Cornell University)|2018. 09. 21.

Industrial Vision Systems and Defect Detection참고 문헌 4인용 수 24

한 줄 요약

이 논문은 이미지 레벨 레이블만을 사용하여 동시에 픽셀 수준의 국소화와 이미지 수준의 분류를 가능하게 하는 글로벌 가중 평균 풀링(GWAP)을 제안한다. 특징 맵에 대해 클래스에 관계없고 클래스별로 가중치를 학습시킴으로써 GWAP은 기존의 글로벌 최대/평균 풀링보다 국소화 정확도를 향상시키며, 약한 지도 학습 탐지에서 R-FCN와 함께 사용할 경우 ILSVRC에서 54.99%의 top-1 국소화 오차를 기록하고, PASCAL VOC에서 mAP를 1.1% 향상시킨다.

ABSTRACT

In this work, we first tackle the problem of simultaneous pixel-level localization and image-level classification with only image-level labels for fully convolutional network training. We investigate the global pooling method which plays a vital role in this task. Classical global max pooling and average pooling methods are hard to indicate the precise regions of objects. Therefore, we revisit the global weighted average pooling (GWAP) method for this task and propose the class-agnostic GWAP module and the class-specific GWAP module in this paper. We evaluate the classification and pixel-level localization ability on the ILSVRC benchmark dataset. Experimental results show that the proposed GWAP module can better capture the regions of the foreground objects. We further explore the knowledge transfer between the image classification task and the region-based object detection task. We propose a multi-task framework that combines our class-specific GWAP module with R-FCN. The framework is trained with few ground truth bounding boxes and large-scale image-level labels. We evaluate this framework on PASCAL VOC dataset. Experimental results show that this framework can use the data with only image-level labels to improve the generalization of the object detection model.

연구 동기 및 목표

• 픽셀 수준의 국소화와 객체 탐지에 필요한 레이블링 비용을 줄이기 위해 이미지 레벨 레이블만을 활용한다.
• 고정된 집계 전략을 가진 글로벌 최대 풀링(GMP)과 글로벌 평균 풀링(GAP)의 한계를 극복하여 객체를 정확히 국소화하지 못하는 문제를 해결한다.
• 경계 상자 레이블 없이도 자연스럽게 픽셀 수준의 국소화 맵을 생성할 수 있는 학습 가능한 글로벌 풀링 기법을 개발한다.
• R-FCN와의 다중 작업 학습 설정에서 GWAP를 통합하여 이미지 분류에서 영역 기반 탐지로 지식 전이를 가능하게 한다.
• 대규모 이미지 레벨 레이블이 경계 상자 레이블이 일부만 존재하는 작은 비율의 이미지에서도 탐지 성능을 크게 향상시킬 수 있음을 입증한다.

제안 방법

• 특징 맵에 대한 전역 가중치를 학습시켜 가중 평균을 계산하는 클래스에 관계없는 GWAP 모듈을 제안하며, 분류에 기여하는 영역을 강조한다.
• 각 클래스별 주의 맵을 생성하는 클래스별 GWAP 모듈을 도입하여 개별 객체 카테고리의 국소화 정밀도를 향상시킨다.
• 최종 예측이 풀링된 특징에서 유도되는 다중 인스턴스 학습(MIL) 프레임워크를 사용하여 이미지 레벨 레이블만으로 완전 컨볼루션 네트워크를 훈련시킨다.
• 픽셀 수준의 예측 헤드를 사용하여 GWAP용 주의 가중치를 생성하고, 이를 바탕으로 국소화를 위한 클래스 활성화 맵(CAMs)을 생성한다.
• R-FCN 아키텍처에 클래스별 GWAP 모듈을 통합하여 이미지 분류와 객체 탐지의 다중 작업 학습 환경에서 함께 훈련한다.
• 다중 해상도 입력에서의 평균 주의 맵을 사용하여 다중 해상도 추론을 적용함으로써 국소화의 강인성과 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 약한 지도 학습 기반 픽셀 수준 국소화에서 글로벌 가중 평균 풀링(GWAP)이 글로벌 최대 풀링(GMP)과 글로벌 평균 풀링(GAP)을 능가할 수 있는가?
• RQ2 경계 상자 레이블 없이도 GWAP이 의미 있는, 분류에 기여하는 주의 맵을 학습하여 정확한 객체 영역을 강조할 수 있는가?
• RQ3 GWAP을 탐지 프레임워크(R-FCN 등)에 통합하면, 훈련 이미지 중 일부만 경계 상자 레이블이 존재하는 조건에서 일반화 성능이 향상되는가?
• RQ4 제안된 방법이 약한 지도 학습 환경에서 이미지 레벨 분류에서 영역 기반 객체 탐지로 지식 전이를 효과적으로 수행할 수 있는가?
• RQ5 다중 해상도 추론은 GWAP 기반 모델의 국소화 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 GoogLeNet-GWAP 모델은 ILSVRC 검증 세트에서 top-1 국소화 오차 54.99%를 기록하여 GoogLeNet-GAP을 초월하고, 완전히 지도 학습된 GoogLeNet의 성능에 가까워진다.
• GoogLeNet-GWAP은 GoogLeNet-GAP 대비 top-1 정확도를 3.2%p 향상시키고 top-5 정확도를 1.9%p 향상시켜 더 우수한 특징 집계 성능을 입증한다.
• 224, 448, 672의 다중 해상도 입력을 사용할 경우 단일 해상도 추론 대비 국소화 오차가 0.9% 감소하여 공간 정밀도 향상이 확인되었다.
• PASCAL VOC 2007에서 R-FCN + GWAP 프레임워크는 경계 상자 레이블이 10%만 있는 조건에서 63.17%의 mAP를 기록하여 R-FCN + GAP(62.32%)와 R-FCN(61.05%)를 모두 능가한다.
• 시각화 결과는 GWAP이 GAP보다 더 완전하고 정확한 객체 국소화 맵을 생성함을 확인하였으며, 전체 객체의 형태와 윤곽을 잘 포착한다.
• 다중 작업 설정에서 GWAP과 GAP을 조합할 경우 약간의 성능 향상이 나타나, 주의 메커니즘 간 상호보완적 이점이 있음을 시사한다.