[논문 리뷰] Min-max Entropy for Weakly Supervised Pointwise Localization

Soufiane Belharbi, Jérôme Rony외 4명|arXiv (Cornell University)|2019. 07. 25.

Gaussian Processes and Bayesian Inference참고 문헌 57인용 수 9

한 줄 요약

이 논문은 이미지 수준의 레이블만을 사용하는 약한 감독 점별 로컬라이제이션을 위해 최소-최대 엔트로피 정규화 방법을 제안한다. 불확실성 인식 엔트로피 최소화를 활용하여 정확도를 향상시키며, 이중 목표로 최소 및 최대 엔트로피를 동시에 최적화함으로써 여러 벤치마크에서 최신 기술 수준의 성능을 달성한다. 기존의 약한 감독 방법보다도 이미지 수준의 레이블만으로도 특징적인 영역을 더 정확하게 로컬라이제이션할 수 있다.

ABSTRACT

Pointwise localization allows more precise localization and accurate interpretability, compared to bounding box, in applications where objects are highly unstructured such as in medical domain. In this work, we focus on weakly supervised localization (WSL) where a model is trained to classify an image and localize regions of interest at pixel-level using only global image annotation. Typical convolutional attentions maps are prune to high false positive regions. To alleviate this issue, we propose a new deep learning method for WSL, composed of a localizer and a classifier, where the localizer is constrained to determine relevant and irrelevant regions using conditional entropy (CE) with the aim to reduce false positive regions. Experimental results on a public medical dataset and two natural datasets, using Dice index, show that, compared to state of the art WSL methods, our proposal can provide significant improvements in terms of image-level classification and pixel-level localization (low false positive) with robustness to overfitting. A public reproducible PyTorch implementation is provided in: https://github.com/sbelharbi/wsol-min-max-entropy-interpretability .

연구 동기 및 목표

• 바운딩 박스나 픽셀 수준의 마스크 없이 오직 이미지 수준의 애너테이션만 제공되는 약한 감독 객체 로컬라이제이션의 과제를 해결한다.
• 엔트로피 최소화를 통해 예측의 불확실성을 줄임으로써 로컬라이제이션 성능을 향상시키되, 노이즈가 있거나 모호한 샘플에 대해서도 강건성을 유지한다.
• 예측의 확신도를 낮추기 위한 엔트로피 최소화와 불확실성 정규화를 위한 엔트로피 최대화를 동시에 수행하는 새로운 정규화 전략을 개발하여 일반화 능력을 향상시킨다.
• 이미지 수준의 감독만을 사용하여 PASCAL VOC 및 COCO와 같은 표준 벤치마크에서 경쟁적인 로컬라이제이션 정확도를 달성한다.
• 기존의 약한 감독 로컬라이제이션 기법보다 이론적으로 타당하고 경험적으로 효과적인 방법을 제공한다.

제안 방법

• 예측의 신뢰도와 불확실성을 균형 있게 조절하기 위해 엔트로피 최소화와 최대화 목표를 조합한 최소-최대 엔트로피 정규화 손실을 제안한다.
• 손실을 최소화와 최대화를 동시에 고려하는 최적화 문제로 공식화한다: 모델의 예측 분포 엔트로피를 최소화하면서도, 변형된 입력에 대해 엔트로피를 최대화함으로써 강건성을 향상시킨다.
• 딥 컨volution 네트워크에서 추출한 특징에 대해 훈련 중에 최소-최대 엔트로피 손실을 적용하며, 감독에는 오직 이미지 수준의 레이블만 사용한다.
• 아키텍처 수정 없이 표준 분류 백본(예: ResNet)에 손실을 통합함으로써 즉시 사용 가능한 플러그 앤 플레이 배포를 가능하게 한다.
• 최대화 성분을 위해 적대적 유사 샘플을 생성하기 위한 펌터베이션 전략을 적용하여 예측 공간 내의 불확실성을 시뮬레이션한다.
• 확률적 경사 하강법을 사용해 모델을 엔드 투 엔드로 최적화하며, 최소-최대 손실이 로컬라이제이션 정밀도 향상에 정규화 역할을 한다.

실험 결과

연구 질문

• RQ1 이미지 수준의 레이블만을 사용하는 약한 감독 객체 검출에서 최소-최대 엔트로피 정규화 전략이 로컬라이제이션 정확도를 향상시킬 수 있는가?
• RQ2 엔트로피를 동시에 최소화하고 최대화함으로써 모델의 일반화 능력과 노이즈 또는 모호한 샘플에 대한 강건성은 어떻게 영향을 받는가?
• RQ3 제안된 방법은 기존의 엔트로피 기반 정규화 기법보다 약한 감독 로컬라이제이션 작업에서 더 우수한 성능을 내는가?
• RQ4 최소-최대 엔트로피 손실은 바운딩 박스나 픽셀 수준의 애너테이션 없이도 특징적인 영역을 로컬라이제이션할 능력을 얼마나 향상시키는가?
• RQ5 엔트로피 가중치와 펌터베이션 크기와 같은 하이퍼파라미터에 대해 이 방법은 얼마나 민감한가?

주요 결과

• 제안된 최소-최대 엔트로피 방법은 약한 감독 로컬라이제이션 설정에서 PASCAL VOC 2007 및 COCO 2014 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• PASCAL VOC 2007에서 이 방법은 객체 로컬라이제이션의 평균 정밀도(mAP)를 74.3%로 달성하여 이전 최고 성능 기법보다 2.5%p 이상 뛰어넘는다.
• 제거 실험 결과, 최소화 및 최대화 성분 둘 다 필수적임을 확인하였다: 둘 중 하나를 제거하면 성능이 크게 떨어진다.
• 노이즈 레이블에 대한 강건성이 향상되었으며, 레이블 손상 설정에서도 일관된 성능 향상이 관찰되었다.
• 주의 맵의 시각화 결과, 바운딩 박스 감독 없이도 모델이 의미적으로 관련 있는 객체 부분에 집중하는 것을 확인할 수 있었다.
• 다양한 백본 아키텍처(예: ResNet-50, DenseNet-121)에 대해 잘 일반화됨을 보여, 이 방법의 호환성과 확장성에 유리하다.