[논문 리뷰] Interpolation-based semi-supervised learning for object detection

Jisoo Jeong, Vikas Verma외 3명|arXiv (Cornell University)|2020. 06. 03.

Advanced Neural Network Applications참고 문헌 36인용 수 13

한 줄 요약

이 논문은 객체 검출에 대한 보간 정규화를 적용하는 데 도전하는 문제를 해결하기 위해 보간 기반의 준지도 학습(Interpolation-based Semi-supervised Learning for object Detection, ISD)을 제안한다. 이는 혼합된 샘플을 Type-I(두 패치 모두 객체에서 유래)와 Type-II(한 패치는 배경에서 유래)로 분류하고, 각각에 대해 별도의 손실 함수를 적용함으로써 이루어진다. ISD는 PASCAL VOC 및 COCO 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 준지도 학습 환경에서 기준 방법 대비 mAP를 최대 2.1% 향상시키고, 지도 학습 검출 정확도를 크게 향상시킨다.

ABSTRACT

Despite the data labeling cost for the object detection tasks being substantially more than that of the classification tasks, semi-supervised learning methods for object detection have not been studied much. In this paper, we propose an Interpolation-based Semi-supervised learning method for object Detection (ISD), which considers and solves the problems caused by applying conventional Interpolation Regularization (IR) directly to object detection. We divide the output of the model into two types according to the objectness scores of both original patches that are mixed in IR. Then, we apply a separate loss suitable for each type in an unsupervised manner. The proposed losses dramatically improve the performance of semi-supervised learning as well as supervised learning. In the supervised learning setting, our method improves the baseline methods by a significant margin. In the semi-supervised learning setting, our algorithm improves the performance on a benchmark dataset (PASCAL VOC and MSCOCO) in a benchmark architecture (SSD).

연구 동기 및 목표

• 보간 정규화를 직접 객체 검출에 적용할 때 배경 패치가 혼합된 이미지로 인해 노이즈가 발생하고 성능이 떨어지는 문제를 해결하기 위함.
• 원래 패치의 객체 가능성 점수를 기반으로 혼합 샘플을 구분하는 새로운 준지도 학습 프레임워크를 제안하기 위함.
• 준지도 및 지도 학습 환경에서 일반화 및 내성 강도를 향상시키기 위해 유형별 손실 함수(유형-I 및 유형-II)를 설계하기 위함.
• 기존 방법에 비해 표준 벤치마크인 PASCAL VOC 및 COCO에서 검출 성능 향상이 실제로 이루어지는지 입증하기 위함.
• 기존 준지도 학습 방법(예: CSD)과 효과적으로 통합될 수 있도록, 유형 인식 정규화를 통한 성능 향상 가능성을 제공하기 위함.

제안 방법

• 혼합된 이미지를 원래 패치의 객체 가능성 점수에 기반해 두 유형으로 나눈다: 유형-I(두 패치 모두 객체 클래스에서 유래)와 유형-II(한 패치는 배경 클래스에서 유래).
• 유형-I 샘플에 대해서는 표준 보간 기반의 분류 및 위치 추정 손실을 적용하여 혼합 입력에 대해 선형 출력 행동을 보장한다.
• 유형-II 샘플에 대해서는 수정된 손실을 적용하여 혼합 이미지를 배경이 아닌 객체로 간주함으로써 배경 노이즈 및 비정상적인 무늬에 대한 내성 강도를 향상시킨다.
• 혼합 계수 λ는 대칭적인 Beta(α, α) 분포에서 샘플링되어 보간 비율을 제어하며, α는 최적의 정규화를 위해 튜닝된다.
• ISD 손실은 SSD 검출기와 통합되며, CSD와 같은 기존 준지도 학습 프레임워크와도 결합되어 성능을 추가로 향상시킬 수 있다.
• 이 방법은 SSD와 같은 단계 검출기와 호환되도록 설계되었으며, RoI 불일치 문제로 인해 이중 단계 검출기로의 확장은 향후 연구가 필요하다.

실험 결과

연구 질문

• RQ1 객체와 배경 패치를 혼합할 때 보간 정규화를 직접 적용하면 성능이 어떻게 떨어지는가? 특히 배경 패치가 포함된 혼합 이미지에서의 영향은 어떻게 되는가?
• RQ2 원래 패치의 객체 가능성 점수를 기반으로 혼합 샘플을 유형별로 분리하면 준지도 학습 객체 검출에서 더 효과적인 정규화가 가능한가?
• RQ3 배경 영역을 포함한 보간된 샘플에서 일반화를 향상시키기 위해 가장 효과적인 유형별 손실 함수는 무엇인가?
• RQ4 ISD는 기준 방법에 비해 지도 및 준지도 학습 환경에서 검출 성능 향상에 얼마나 기여하는가?
• RQ5 혼합 계수 분포 선택(Beta(α, α))가 ISD에서 모델의 일반화 및 내성 강도에 어떤 영향을 미치는가?

주요 결과

• VOC07(L)+VOC12(U) 학습 데이터를 사용하여 PASCAL VOC07 테스트 세트에서 기준 CSD 방법의 mAP를 72.3%에서 74.4%로 향상시켰다.
• 유형-II 분류 손실만으로도 mAP가 1.9%포인트 향상되었으며(72.3%에서 74.0%로), 그 영향력이 뚜렷하다는 것을 입증했다.
• Beta(α, α) 분포에서 α = 100을 사용할 경우 최고의 성능를 기록했으며, 이는 유형-I 및 유형-II 손실을 병합했을 때 mAP가 74.4%에 도달했다.
• 제거 분석 결과, 유형-II 분류 손실이 위치 추정 손실보다 성능 향상에 더 큰 기여를 한다는 것이 확인되었으며, 이는 배경 노이즈 처리의 중요성을 강조한다.
• CSD 프레임워크와 결합했을 때 ISD는 PASCAL VOC 및 COCO 벤치마크에서 준지도 학습 객체 검출 분야에서 최신 기술 수준의 성능를 달성했다.
• 기본 SSD와 동일한 추론 시간과 모델 크기를 유지하므로, 높은 학습 메모리 사용에도 불구하고 실세계 구현에 실용적이다.