[논문 리뷰] Geometry Constrained Weakly Supervised Object Localization

Weizeng Lu, Xi Jia외 4명|arXiv (Cornell University)|2020. 07. 19.

Advanced Neural Network Applications참고 문헌 25인용 수 9

한 줄 요약

이 논문은 이미지 레이블만을 사용하여 엔드 투 엔드로 훈련되는 기하학적 제약을 통한 약한 지도 학습 객체 탐지 프레임워크인 GC-Net을 제안한다. 새로운 다중 작업 손실을 통해 검출기, 생성기, 분류기를 통합함으로써 GC-Net은 후처리 없이 정밀한 객체 바운딩 박스를 예측하며, CUB-200-2011 및 ILSVRC2012 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

We propose a geometry constrained network, termed GC-Net, for weakly supervised object localization (WSOL). GC-Net consists of three modules: a detector, a generator and a classifier. The detector predicts the object location defined by a set of coefficients describing a geometric shape (i.e. ellipse or rectangle), which is geometrically constrained by the mask produced by the generator. The classifier takes the resulting masked images as input and performs two complementary classification tasks for the object and background. To make the mask more compact and more complete, we propose a novel multi-task loss function that takes into account area of the geometric shape, the categorical cross-entropy and the negative entropy. In contrast to previous approaches, GC-Net is trained end-to-end and predict object location without any post-processing (e.g. thresholding) that may require additional tuning. Extensive experiments on the CUB-200-2011 and ILSVRC2012 datasets show that GC-Net outperforms state-of-the-art methods by a large margin. Our source code is available at https://github.com/lwzeng/GC-Net.

연구 동기 및 목표

• 바운딩 박스 애너테이션을 요구하지 않는 약한 지도 학습 객체 탐지(WSOL)의 과제를 해결한다.
• 후처리 임계값 설정에 의존하고 활성화 영역이 모호한 CAM 기반 방법의 한계를 극복한다.
• 후처리 단계의 하이퍼파라미터 튜닝이 필요 없는 엔드 투 엔드 학습 가능한 프레임워크를 개발한다.
• 기하학적 제약(타원, 직사각형, 기울인 형태)을 미분 가능한 생성기를 통해 강제하여 정확도를 향상시킨다.
• 형태의 타이트함, 객체의 완전성, 분류 성능을 동시에 최적화하는 다중 작업 손실 함수를 설계한다.

제안 방법

• GC-Net은 세 가지 모듈로 구성된다: 기하학적 형태 매개변수(예: 중심, 축, 회전각)를 회귀하는 검출기, 타원, 직사각형, 기울인 형태의 수학적 모델을 사용해 이에 기반한 미분 가능한 이진 마스크를 생성하는 생성기.
• 생성기는 히브리드 함수의 아크탄젠트 함수를 통한 미분 가능한 근사화를 사용하여 마스크 생성 과정에서 역전파가 가능하도록 한다.
• 분류기는 마스크 처리된 객체 영역과 배경 영역을 각각 분류하여 탐지 신호를 향상시킨다.
• 다중 작업 손실은 세 가지 구성 요소를 포함한다: 면적 손실(기하학적 형태의 타이트함을 강제), 객체 손실(정확한 객체 분류 보장), 배경 손실(객체의 완전한 커버리지 확보).
• 이 방법은 정규 직사각형, 기울인 직사각형, 기울인 타원 등 다양한 기하학적 형태를 지원하며, 각각은 공간 좌표를 형태 경계에서의 부호 거리로 매핑하는 미분 가능한 암묵 함수 φ(x,y)로 정의된다.
• 기하학적 모델의 해석적 도함수를 사용하여 생성기의 경로를 역전파함으로써 검출기의 엔드 투 엔드 훈련이 가능해진다.

실험 결과

연구 질문

• RQ1 미분 가능한 기하학적 제약은 바운딩 박스 애너테이션 없이도 약한 지도 학습 객체 탐지 성능을 향상시킬 수 있는가?
• RQ2 형태의 타이트함, 객체 분류, 배경 완전성의 조합을 포함한 다중 작업 손실이 기존 WSOL 방법을 초월할 수 있는가?
• RQ3 임계값 설정 등의 후처리 단계를 제거하면 약한 지도 학습 환경에서 더 강건하고 정확한 탐지가 가능한가?
• RQ4 명시적인 기하학적 사전 지식을 가진 모델 기반 생성기가 CAM 기반 접근보다 더 강력한 지도 신호를 제공할 수 있는가?
• RQ5 GC-Net은 최신 기술 대비 미세한 분류(CUB-200-2011) 및 대규모(ILSVRC2012) 데이터셋에서 어떻게 성능을 발휘하는가?

주요 결과

• GC-Net은 CUB-200-2011 데이터셋에서 후처리 없이도 기존 방법을 능가하는 정밀한 탐지 정확도를 달성한다.
• ILSVRC2012 데이터셋에서는 기존의 약한 지도 학습 객체 탐지 방법을 크게 능가하며, 대규모 벤치마크에서 강력한 일반화 능력을 입증한다.
• 절단 실험을 통해 제안된 다중 작업 손실, 특히 면적, 객체, 배경 손실의 조합이 높은 탐지 정확도를 달성하는 데 필수적임을 확인한다.
• 미분 가능한 기하학적 생성기를 사용함으로써 엔드 투 엔드 훈련이 가능해지고 후처리 단계의 임계값 튜닝이 필요 없어져 구현이 간소화된다.
• 정규, 기울인 직사각형, 타원 등 다양한 기하학적 형태에서 안정적인 성능을 발휘하며 기하학적 제약 접근의 유연성과 일반화 능력을 입증한다.
• 생성기의 미분 가능 설계 덕분에 마스크를 통해 효과적인 기울기 역전파가 가능해져, 분류 신호로부터 검출기가 정확한 형태 매개변수를 직접 학습할 수 있다.