[논문 리뷰] Weakly Supervised Object Localization Using Size Estimates

Miaojing Shi, Vittorio Ferrari|arXiv (Cornell University)|2016. 08. 15.

Advanced Neural Network Applications참고 문헌 41인용 수 13

한 줄 요약

이 논문은 객체 크기 추정을 활용하여 커리큘럼 학습과 제안서 가중치를 안내하는 약한 감독 객체 지역화(WSOL) 방법을 제안한다. 크기 기반으로 이미지를 큰 객체에서 작은 객체 순서로 학습하고, 제안서를 추정된 크기와의 유사도에 따라 가중치를 부여함으로써, 표준 WSOL 대비 7% 향상된 CorLoc 성능을 달성하며, 크기 가중치를 추가로 적용하면 추가로 10% 향상되어 PASCAL VOC 2007에서 최신 기술을 초월한다.

ABSTRACT

We present a technique for weakly supervised object localization (WSOL), building on the observation that WSOL algorithms usually work better on images with bigger objects. Instead of training the object detector on the entire training set at the same time, we propose a curriculum learning strategy to feed training images into the WSOL learning loop in an order from images containing bigger objects down to smaller ones. To automatically determine the order, we train a regressor to estimate the size of the object given the whole image as input. Furthermore, we use these size estimates to further improve the re-localization step of WSOL by assigning weights to object proposals according to how close their size matches the estimated object size. We demonstrate the effectiveness of using size order and size weighting on the challenging PASCAL VOC 2007 dataset, where we achieve a significant improvement over existing state-of-the-art WSOL techniques.

연구 동기 및 목표

• 작은 객체에서의 약한 감독 객체 지역화(WSOL) 성능 저하 문제를 해결하기 위해, 초기 학습 반복에서의 노이즈 있는 지역화로 인한 영향을 줄이기 위해.
• 바운딩 박스 애너테이션을 피하면서도 크기 기반 학습 전략을 통해 지역화 정확도를 향상시켜 애너테이션 비용을 절감하기 위해.
• 더 큰 객체를 먼저 포함하는 이미지부터 학습을 시작하고 점차 작은 객체를 도입함으로써 모델 학습을 안정화하는 커리큘럼 학습 접근법을 개발하기 위해.
• 추정된 객체 크기와의 크기 일치도를 기반으로 객체 제안서를 가중치를 부여하여 재지역화 단계를 향상시키기 위해.
• 다양한 객체 클래스에 대해 크기 추정기의 일반화 능력을 평가하기 위해.

제안 방법

• 이미지 전체에서 객체 크기를 추정하기 위해 단일 스칼라 값으로 표현되는 회귀모델을 학습하며, 바운딩 박스 애너테이션을 필요로 하지 않는다.
• 학습 이미지를 추정된 크기 기준 내림차순으로 정렬하여, 큰 객체부터 시작하여 점차 작은 객체로 진행되는 커리큘럼 학습 전략을 구현한다.
• 재지역화 과정에서 제안서의 크기가 추정된 객체 크기와 얼마나 유사한지에 따라 가중치를 적용하며, 유사도가 높을수록 더 높은 가중치를 할당한다.
• 크기 가중치가 적용된 제안서 점수를 활용해 지역화를 정밀화함으로써 불확실성을 감소시키고 관련 제안서의 선택 정확도를 향상시킨다.
• 추가적인 딥 네트워크 재학습 반복을 통해 크기 순서와 가중치가 적용된 제안서를 활용하여 다중 인스턴스 학습(MIL) 프레임워크와 통합한다.
• 클래스 특정, 클래스 일반화, 클래스 간 설정에서 크기 추정기를 평가하여, 새로운 클래스에 대한 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 크기 순서로 학습 이미지를 정렬하는 것(크기 기반 내림차순)이 약한 감독 객체 지역화 성능 향상에 기여하는가?
• RQ2 추정된 객체 크기와의 크기 유사도에 따라 제안서를 가중치를 부여하는 것이 WSOL의 지역화 정확도 향상에 기여하는가?
• RQ3 일부 클래스에서 학습된 크기 추정기가 새로운, 알려지지 않은 클래스로 일반화되는 정도는 어떠한가?
• RQ4 크기 순서와 크기 가중치의 조합 효과가 다양한 네트워크 아키텍처에서 WSOL 성능에 미치는 영향은 무엇인가?
• RQ5 크기 기반 커리큘럼 학습 전략이 초기 학습 반복에서의 노이즈 있는 지역화로 인한 오류 전파를 줄이는 데 효과적인가?

주요 결과

• 크기 순서만 적용해도 표준 WSOL과 비교해 PASCAL VOC 2007에서 CorLoc가 7% 향상된다.
• 재지역화 단계에 크기 가중치를 추가로 적용하면 크기 순서 기반 기준선 대비 추가로 10% 향상된 CorLoc 성능을 기록한다.
• 딥 네트워크 재학습을 통해 최고의 성능을 달성하여, PASCAL VOC 2007 테스트 세트에서 CorLoc 60.9, mAP 36.0을 달성한다.
• 클래스 일반화 크기 추정기는 CorLoc 54.4, mAP 32.2를 기록하며, 기준선의 24.7 mAP보다 유의미하게 뛰어나다.
• 클래스 간 크기 추정기는 잘 일반화되어 CorLoc 51.1, mAP 30.0을 달성하여 새로운 클래스에 대한 강건성을 입증한다.
• 크기 추정기가 WSOL에 사용되는 클래스와 다른 클래스에서 학습된 경우에도 강력한 성능 유지를 보이며, 일반화 능력이 확인된다.