[논문 리뷰] Rethinking Localization Map: Towards Accurate Object Perception with Self-Enhancement Maps

Xiaolin Zhang, Yunchao Wei외 2명|arXiv (Cornell University)|2020. 06. 09.

Advanced Neural Network Applications참고 문헌 1인용 수 22

한 줄 요약

이 논문은 이미지 수준의 레이블만을 사용하는 약한 지도 학습 객체 탐지에서 정확도를 향상시키기 위해 자기 강화 맵(Self-Enhancement Maps, SEM)을 제안한다. 이는 고활성 픽셀과 배경 픽셀 간의 특징 유사도를 직접 비교함으로써 국소화 맵 정확도를 향상시킨다. 새로 코딩한 ILSVRC 검증 마스크를 바탕으로 IoU-Threshold 곡선을 사용한 직접적인 픽셀 단위 평가 지표를 도입하여, 기존의 방법들을 능가하는 최신 기술 수준의 54.88% 국소화 정확도를 달성하였으며, 이미지 수준의 지도 학습 하에서 객체 국소화와 경계 탐지 성능 모두에서 앞서고 있다.

ABSTRACT

Recently, remarkable progress has been made in weakly supervised object localization (WSOL) to promote object localization maps. The common practice of evaluating these maps applies an indirect and coarse way, i.e., obtaining tight bounding boxes which can cover high-activation regions and calculating intersection-over-union (IoU) scores between the predicted and ground-truth boxes. This measurement can evaluate the ability of localization maps to some extent, but we argue that the maps should be measured directly and delicately, i.e., comparing the maps with the ground-truth object masks pixel-wisely. To fulfill the direct evaluation, we annotate pixel-level object masks on the ILSVRC validation set. We propose to use IoU-Threshold curves for evaluating the real quality of localization maps. Beyond the amended evaluation metric and annotated object masks, this work also introduces a novel self-enhancement method to harvest accurate object localization maps and object boundaries with only category labels as supervision. We propose a two-stage approach to generate the localization maps by simply comparing the similarity of point-wise features between the high-activation and the rest pixels. Based on the predicted localization maps, we explore to estimate object boundaries on a very large dataset. A hard-negative suppression loss is proposed for obtaining fine boundaries. We conduct extensive experiments on the ILSVRC and CUB benchmarks. In particular, the proposed Self-Enhancement Maps achieve the state-of-the-art localization accuracy of 54.88% on ILSVRC. The code and the annotated masks are released at https://github.com/xiaomengyc/SEM.

연구 동기 및 목표

• 약한 지도 학습 객체 탐지(WSOL)에서 간접 평가 지표의 한계를 해결하기 위해, 경계 상자 IoU에 의존하는 기존 방법이 세밀한 국소화 정확도를 포착하지 못한다는 점을 다루기 위해.
• ILSVRC 검증 세트에 대한 진정한 객체 마스크를 코딩하여, 국소화 맵과의 정밀한 비교를 위한 직접적인 픽셀 단위 평가 프로토콜을 제안하기 위해.
• 고활성 픽셀과 배경 픽셀 간의 점별 특징 유사도를 비교함으로써 국소화 맵 품질을 향상시키는 이중 단계 자기 강화 방법을 개발하기 위해.
• 경계 지도를 정밀하게 개선하기 위해 하드 음성 억제 손실을 적용하여, 이미지 수준의 레이블만으로도 고품질의 객체 경계 예측을 가능하게 하기 위해.
• 우수한 국소화 맵이 항상 더 좋은 경계 상자 성능을 내지 못하는 점을 입증하고, 직접 평가의 필요성을 강조하기 위해.

제안 방법

• 고활성 픽셀과 다른 모든 픽셀 간의 점별 특징 유사도를 계산하여 국소화 맵를 생성하는 이중 단계 방법을 제안하여, 객체 영역 커버리지를 향상시킨다.
• 예측된 국소화 맵를 픽셀 수준의 진정한 마스크와 직접 비교하기 위해, 새로운 평가 지표로 IoU-Threshold 곡선을 도입하여 정밀한 품질 평가를 가능하게 한다.
• 배경 영역의 잘못된 경계를 억제하기 위해 하드 음성 억제(HNS) 손실을 적용하여, 객체 경계 탐지 품질을 향상시킨다.
• 백본으로 InceptionV3를 사용하고, 교차 엔트로피 손실과 제안된 HNS 손실을 조합하여 엔드 투 엔드로 모델을 훈련시켜 경계 정밀도를 향상시킨다.
• HaS와 CutMix에서 유래한 데이터 증강 기법을 활용하여 국소화 맵 품질과 경계 탐지 성능을 추가로 향상시킨다.
• ILSVRC 검증 세트에 픽셀 수준의 객체 마스크를 코딩하여 직접 평가를 가능하게 하고, 새로운 IoU-Threshold 곡선 평가 지표의 기초를 마련한다.

실험 결과

연구 질문

• RQ1 진정한 마스크를 기반으로 한 직접적인 픽셀 단위 평가 지표가 기존의 간접적인 경계 상자 IoU 평가보다 국소화 맵 품질 평가에서 뛰어나게 작용할 수 있는가?
• RQ2 제안된 자기 강화 메커니즘이 CAM 및 ACoL과 같은 기준 방법에 비해 국소화 맵의 정확도와 완전성 향상에 얼마나 기여하는가?
• RQ3 이미지 수준의 레이블만으로 객체 경계를 얼마나 정밀하게 예측할 수 있으며, HNS 손실은 이 과정에서 어떤 기여를 하는가?
• RQ4 기존 방법들은 높은 경계 상자 IoU 점수를 기록함에도 불구하고 왜 종종 열악한 국소화 맵을 생성하는가? 그리고 새로운 평가 지표는 이러한 괴리를 어떻게 드러내는가?
• RQ5 대규모 데이터셋에서 약한 지도 학습 경계 탐지가 완전히 지도 학습 방법과 비교해도 우수하거나 그 이상의 성능을 낼 수 있는가?

주요 결과

• 제안된 자기 강화 맵(SEM)은 ILSVRC 벤치마크에서 기존의 모든 방법들을 능가하는 최신 기술 수준의 54.88% 국소화 정확도를 달성하였다.
• IoU-Threshold 곡선 평가 결과, HaS, CutMix, SPG와 같은 방법들은 높은 경계 상자 IoU를 기록하고도 직접적인 픽셀 단위 국소화에서 빈약한 성능을 보이며, 간접 평가 지표의 결함을 드러냈다.
• HNS 손실을 SEM-Vanilla에 적용했을 때, 객체 경계 탐지의 평균 정밀도(AP)가 17.6%에서 31.9%로 14.3% 향상되어 배경 노이즈 억제의 효과를 입증하였다.
• CutMix 증강 기법을 적용한 SEM-HNS는 동일한 벤치마크에서 완전히 지도 학습된 SOBD 방법(AP 29.6%)을 뛰어넘는 AP 33.1%의 성능을 기록하여, 약한 지도 학습 하에서도 강력한 일반화 능력을 보였다.
• 경계 학습 과정에서 SEM 국소화 맵를 CAM 맵로 대체할 경우, AP가 31.9%에서 25.5%로 감소하여, SEM이 더 세밀하고 정확한 국소화 맵를 생성한다는 점을 확인하였다.
• K=40일 때 국소화 정확도가 54.88%로 최고 성능를 기록하여, 다양성과 배경 오염 간의 최적 균형을 이룬다는 점을 입증하였다.