[논문 리뷰] Rethinking the Route Towards Weakly Supervised Object Localization

Chen-Lin Zhang, Yun-Hao Cao외 1명|arXiv (Cornell University)|2020. 02. 26.

Advanced Neural Network Applications참고 문헌 31인용 수 7

한 줄 요약

이 논문은 약한 지도 학습 객체 탐지(WSOL)를 클래스 무관 탐지와 분류로 분리하는 새로운 패러다임인 가짜 지도 객체 탐지(PSOL)를 제안한다. 이는 DDT와 같은 클래스 무관 방법을 통해 생성된 노이즈가 섞인 가짜 바운딩 박스를 사용하고, 이후 바운딩 박스 회귀를 통해 정제한다. 이 방법은 ImageNet-1k에서 58.00%의 Top-1 탐지 정확도와 CUB-200에서 74.97%의 정확도를 달성하여 기존 방법보다 뚜렷이 뛰어나며, 데이터셋 간 강력한 제로샷 전이 성능을 보인다.

ABSTRACT

Weakly supervised object localization (WSOL) aims to localize objects with only image-level labels. Previous methods often try to utilize feature maps and classification weights to localize objects using image level annotations indirectly. In this paper, we demonstrate that weakly supervised object localization should be divided into two parts: class-agnostic object localization and object classification. For class-agnostic object localization, we should use class-agnostic methods to generate noisy pseudo annotations and then perform bounding box regression on them without class labels. We propose the pseudo supervised object localization (PSOL) method as a new way to solve WSOL. Our PSOL models have good transferability across different datasets without fine-tuning. With generated pseudo bounding boxes, we achieve 58.00% localization accuracy on ImageNet and 74.97% localization accuracy on CUB-200, which have a large edge over previous models.

연구 동기 및 목표

• 기존의 약한 지도 학습 객체 탐지(WSOL) 방법이 분류와 탐지 작업을 혼합하는 데서 비롯하는 한계를 해결하기 위해.
• 객체 탐지가 클래스 레이블에 의존하지 않고도 수행될 수 있음을 보여주어, 탐지가 반드시 클래스 특징에 의존해야 한다는 가정을 도전하기 위해.
• 클래스 무관 방법을 통해 노이즈가 섞인 가짜 바운딩 박스를 생성하고, 이를 종합적으로 바운딩 박스 회귀를 통해 정제함으로써 탐지 성능을 향상시키기 위해.
• 정교화 없이도 다양한 데이터셋 간에 강력한 제로샷 전이 성능을 달성하기 위해.
• 클래스 무관 탐지와 분류를 분리함으로써 더 나은 성능과 일반화 능력을 가능하게 하는 새로운 패러다임인 PSOL을 수립하기 위해.

제안 방법

• 먼저, 클래스 레이블에 의존하지 않도록, 특히 딥 디스크립터 트랜스포메이션(DDT)을 사용하여 노이즈가 섞인 가짜 진짜 바운딩 박스를 생성한다.
• 이 가짜 박스에 바운딩 박스 회귀 헤드를 적용하여 위치를 정제함으로써, 클래스 특이적 지도 학습이 필요 없이 종단 간 최적화가 가능하도록 한다.
• 탐지 헤드와 분류 헤드를 분리함으로써, 최신 분류기(예: EfficientNet-B7)를 탐지 헤드와 별도로 사용할 수 있도록 한다.
• 탐지 모델은 진짜 클래스 레이블에 접근하지 않고 가짜 박자만을 사용하여 훈련되며, 이는 클래스 무관 학습을 강조한다.
• 프레임워크는 제로샷 전이를 지원한다: ImageNet-1k에서 훈련된 모델은 정교화 없이도 CUB-200에서 높은 성능을 달성한다.
• 다양한 백본 네트워크(예: VGG, DenseNet161)와 호환되며, 효율성과 성능 향상을 위해 글로벌 평균 풀링(GAP) 또는 분리 가능 컨볼루션을 사용한다.

실험 결과

연구 질문

• RQ1 약한 지도 학습 객체 탐지가 클래스 무관 탐지 작업과 별도의 분류 작업으로 효과적으로 분리될 수 있는가?
• RQ2 클래스 레이블 없이 노이즈가 섞인 가짜 바운딩 박스를 기반으로 탐지 헤드를 훈련하는 것이, 클래스 특이적 특징을 사용하는 종단 간 최적화보다 성능이 뛰어나게 되는가?
• RQ3 한 데이터셋(예: ImageNet-1k)에서 훈련된 탐지 모델이 다른 데이터셋(예: CUB-200)으로 효과적으로 일반화될 수 있는가? 정교화 없이도 가능한가?
• RQ4 제안된 PSOL 방법의 성능는 최신 WSOL 및 완전 지도 학습 방법과 비교해 탐지 정확도와 전이 성능 측면에서 어떻게 되는가?
• RQ5 탐지 성능가 분류 성능와 얼마나 독립적인가? 그리고 상호 간섭 없이 함께 최적화할 수 있는가?

주요 결과

• Eff시피넷-B7와 결합했을 때 PSOL은 ImageNet-1k에서 58.00%의 Top-1 탐지 정확도를 달성하여 이전 최고 성능 방법보다 뚜렷이 뛰어나다.
• CUB-200 데이터셋에서 PSOL은 74.97%의 Top-1 탐지 정확도를 달성하여 이전 방법들과 큰 성능 격차를 보였다.
• ImageNet-1k에서 훈련된 PSOL 모델은 정교화 없이도 CUB-200에 효과적으로 일반화되어 89.11%의 Top-1 정확도를 달성하였으며, 강력한 제로샷 전이 성능을 보였다.
• 더 강력한 백본(예: DenseNet161)을 사용하더라도, 분류 가중치나 전체 네트워크를 정교화하는 모델보다 성능이 뛰어나다.
• 단지 이미지 수준의 레이블만을 사용함에도 불구하고, PSOL은 AlexNet과 같은 완전 지도 학습 모델과 유사한 Top-5 탐지 정확도를 달성하였다.
• 제거 분석 결과, 분류-탐지 동시 훈련보다 클래스 무관 탐지가 더 효과적임을 확인하여 핵심 패러다임 전환의 타당성을 입증하였다.