[논문 리뷰] Zigzag Learning for Weakly Supervised Object Detection

Xiaopeng Zhang, Jiashi Feng외 2명|arXiv (Cornell University)|2018. 04. 25.

Advanced Neural Network Applications인용 수 25

한 줄 요약

이 논문은 이미지 레벨 레이블만을 사용하는 새로운 약한 지도 학습 객체 검출 프레임워크인 지그재그 학습 검출 네트워크(ZLDN)를 제안한다. 이는 평균 에너지 축적 점수(mEAS)를 사용해 어려움 정도가 낮은 이미지에서부터 점차 어려운 이미지로 순차적으로 학습하면서, 초기 잘못된 양성 예측에 대한 과적합을 방지하기 위해 특징 마스킹을 적용한다. 이 방법은 PASCAL VOC 2007에서 47.6%의 mAP를 달성하여 이전 최고 성능 기준보다 뚜렷이 뛰어나다.

ABSTRACT

This paper addresses weakly supervised object detection with only image-level supervision at training stage. Previous approaches train detection models with entire images all at once, making the models prone to being trapped in sub-optimums due to the introduced false positive examples. Unlike them, we propose a zigzag learning strategy to simultaneously discover reliable object instances and prevent the model from overfitting initial seeds. Towards this goal, we first develop a criterion named mean Energy Accumulation Scores (mEAS) to automatically measure and rank localization difficulty of an image containing the target object, and accordingly learn the detector progressively by feeding examples with increasing difficulty. In this way, the model can be well prepared by training on easy examples for learning from more difficult ones and thus gain a stronger detection ability more efficiently. Furthermore, we introduce a novel masking regularization strategy over the high level convolutional feature maps to avoid overfitting initial samples. These two modules formulate a zigzag learning process, where progressive learning endeavors to discover reliable object instances, and masking regularization increases the difficulty of finding object instances properly. We achieve 47.6% mAP on PASCAL VOC 2007, surpassing the state-of-the-arts by a large margin.

연구 동기 및 목표

• 이미지 레벨 레이블만을 사용하는 약한 지도 학습 객체 검출의 과제를 해결하기 위해, 잘못된 양성 예측 가짜 애너테이션으로 인해 정밀도가 떨어지고 과적합이 발생하는 문제를 해결하고자 한다.
• 정확한 검출 모델이 신뢰할 수 있는 객체 인스턴스가 필요로 하지만, 정확한 모델이 없으면 신뢰할 수 있는 인스턴스를 확보할 수 없는 '닭과 계란' 문제를 해결하고자 한다.
• 더 쉬운 예제부터 시작해 정위치 어려움 정도에 따라 순서를 정렬한 이미지로 점진적으로 학습함으로써 모델의 일반화 능력과 검출 정확도를 향상시키고자 한다.
• 고수준 특징 맵에 대한 마스킹 정규화 전략을 도입하여 초기 잘못된 양성 샘플에 대한 과적합을 줄이고자 한다.

제안 방법

• 목표 객체를 포함한 이미지의 정위치 어려움 정도를 자동으로 측정하고 순위를 매기기 위해 평균 에너지 축적 점수(mEAS)를 제안한다.
• mEAS가 낮은 순서로 이미지를 제공함으로써 점진적으로 검출기를 학습하며, 더 쉬운 예제부터 시작해 강력한 초기 표현을 구축한다.
• 학습 중 마지막 합성곱 특징 맵의 고응답 영역을 무작위로 지우는 마스킹 정규화 전략을 도입한다.
• 마스킹 전략은 네트워크가 덜 특징적인 더 통합된 객체 부분에 주목하도록 유도하며, 가림된 샘플을 시뮬레이션함으로써 강건성을 향상시킨다.
• 점진적 학습과 마스킹 정규화를 결합하여, 각각의 구성 요소가 상호 보완적으로 작용하는 지그재그 학습 과정을 설계한다.
• 백프로파게이션 중 마스킹 연산을 적용함으로써 엔드 투 엔드 학습을 수행하고, 특징 학습과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 자동 측정된 정위치 어려움 정도 기반의 점진적 학습 전략이 약한 지도 학습 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 쉬운 것에서 어려운 것으로 정렬된 이미지 시퀀스로 학습하면, 약한 지도 학습 환경에서 신뢰할 수 있는 객체 인스턴스를 어떻게 발견할 수 있는가?
• RQ3 특징 맵의 고응답 영역을 마스킹하면 초기 잘못된 양성 샘플에 대한 과적합을 줄이고 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ4 점진적 학습과 특징 마스킹의 조합이 기존 방법보다 더 높은 검출 정확도와 강건성을 달성할 수 있는가?

주요 결과

• 제안된 ZLDN 모델은 PASCAL VOC 2007에서 47.6%의 mAP를 달성하여 이전 최고 성능인 41.7%보다 뚜렷이 향상되었다.
• CorLoc 벤치마크에서 ZLDN은 VOC 2007에서 61.2%의 정위치 정확도를 기록했으며, 이는 이전 최고 성능 방법보다 0.6% 높은 성능이다.
• PASCAL VOC 2012에서 모델은 42.9%의 mAP를 달성했으며, 이는 이전 최고 성능인 38.3%보다 4.6% 높은 성능이다.
• 동물과 차량에 대해서는 평균 정밀도가 60% 이상으로 높은 성능를 보였지만, 배경이 혼잡한 가구에 대해서는 어려움을 겪었다.
• 오류 분석 결과, 약 30%의 오류는 정확한 정위치가 어려운 데 기인하며, 주로 객체 부분을 잘못 검출하거나 동일 클래스의 여러 인스턴스를 잘못 그룹화하는 데 기인한다.
• 제거 실험 결과, mEAS 기반의 점진적 학습과 마스킹 정규화 전략이 모두 필수적임을 확인했으며, 둘 중 하나를 제거하면 성능이 크게 떨어졌다.