[논문 리뷰] MUM : Mix Image Tiles and UnMix Feature Tiles for Semi-Supervised Object Detection

JongMok Kim, Jooyoung Jang외 4명|arXiv (Cornell University)|2021. 11. 21.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 이미지 타일을 혼합하고 특징 타일을 복원함으로써 경계 박스 정렬 정보를 손실 없이 유지하면서도 보간 정규화를 가능하게 하는 새로운 데이터 증강 방법인 Mix/UnMix (MUM)을 제안한다. MUM은 MS-COCO와 PASCAL VOC 벤치마크 전반에서 기준 방법들을 일관되게 능가하며, 최소한의 계산 오버헤드로 상태최저 성능을 달성한다.

ABSTRACT

Many recent semi-supervised learning (SSL) studies build teacher-student architecture and train the student network by the generated supervisory signal from the teacher. Data augmentation strategy plays a significant role in the SSL framework since it is hard to create a weak-strong augmented input pair without losing label information. Especially when extending SSL to semi-supervised object detection (SSOD), many strong augmentation methodologies related to image geometry and interpolation-regularization are hard to utilize since they possibly hurt the location information of the bounding box in the object detection task. To address this, we introduce a simple yet effective data augmentation method, Mix/UnMix (MUM), which unmixes feature tiles for the mixed image tiles for the SSOD framework. Our proposed method makes mixed input image tiles and reconstructs them in the feature space. Thus, MUM can enjoy the interpolation-regularization effect from non-interpolated pseudo-labels and successfully generate a meaningful weak-strong pair. Furthermore, MUM can be easily equipped on top of various SSOD methods. Extensive experiments on MS-COCO and PASCAL VOC datasets demonstrate the superiority of MUM by consistently improving the mAP performance over the baseline in all the tested SSOD benchmark protocols.

연구 동기 및 목표

• 표준 방법이 경계 박스 애너테이션을 왜곡하는 데서 비롯되는 보간 정규화를 준지도 학습 객체 검출에 효과적으로 적용하는 데 도전한다.
• 객체 검출을 위해 의미적 및 공간 정보를 유지하면서도 강력한 증강을 가능하게 하는 데이터 증강 전략을 설계한다.
• 기존의 티처-스터디 프레임워크와 호환되는 즉시 사용 가능한 방법을 개발한다.
• 이미지 타일링과 특징 복원을 통해 자연스러운 가림을 생성함으로써 모델의 일반화 능력과 강건성을 향상시킨다.
• MUM의 효과성을 다양한 백본과 준지도 및 지도 학습 설정에서 검증한다.

제안 방법

• MUM은 배치에서 얻은 이미지 타일을 하나의 입력 이미지로 혼합하여 학생 네트워크의 강력한 증강 입력을 생성한다.
• 학생의 백본에서 생성된 특징 맵은 특징 공간에서의 복원 연산을 통해 원래의 공간적 위치로 재구성되고, 마스크가 해제된다.
• 해제된 특징은 검출 헤드로 전달되어, 혼합되었지만 공간적으로 일관된 특징에서 학습할 수 있도록 한다.
• 티처 네트워크는 약간의 증강이 가해진 입력을 처리하여 학생을 훈련하기 위한 고신뢰도의 가짜 레이블을 생성한다.
• 학생 네트워크는 라벨이 있는 데이터에 대한 지도 학습 손실과 가짜 레이블을 통한 비라벨 데이터에 대한 일致성 손실의 조합으로 훈련된다.
• 티처는 학생의 가중치에 대한 지수이동평균(EMA)을 통해 업데이트되어 안정적인 가짜 레이블 생성을 보장한다.

실험 결과

연구 질문

• RQ1 경계 박스 정렬 성능이 떨어지지 않도록 하면서도 준지도 학습 객체 검출에 보간 정규화를 효과적으로 적용할 수 있는가?
• RQ2 이미지 타일 혼합과 특징 타일 복원이 준지도 학습 객체 검출에서 모델의 일반화 능력과 mAP에 어떤 영향을 미치는가?
• RQ3 MUM은 다양한 데이터셋, 백본 아키텍처, 훈련 프로토콜에서 성능 향상에 얼마나 기여하는가?
• RQ4 Cutout과 같은 기존 증강 방법과 비교할 때 MUM은 의미 정보 유지와 검출 정확도 향상 측면에서 어떤가?
• RQ5 SSOD 프레임워크의 전체 성능 향상에서 MUM의 기여도는 티처 네트워크 품질에 비해 어느 정도인가?

주요 결과

• MUM은 MS-COCO와 PASCAL VOC 데이터셋에서 모든 표준 SSOD 벤치마크 프로토콜에서 최고 성능을 기록했으며, COCO-Standard 1%에서 16.52 mAP를 달성했다.
• COCO-Standard 1% 프로토콜에서 MUM은 기준 Unbiased Teacher의 20.70 mAP에서 21.81 mAP로 1.11 점의 절대적 향상률을 기록했다.
• 소형 객체에 대해 특히 뛰어난 성능 향상을 보였으며, AP_S는 8.93에서 9.86으로 상승하여 소형 객체의 정렬 정확도 향상을 입증했다.
• 지도 학습 기반 ImageNet 분류에서 MUM은 38.12 mAP를 기록하여 Cutout(36.87 mAP)를 능가함으로써 일반화 능력 있는 정규화 방법임을 입증했다.
• Grad-CAM 시각화 결과 MUM이 국소 객체 영역에 주의를 기울이게 하여 소형 및 세밀한 객체 검출 성능을 향상시킨다.
• 제거 실험 결과 MUM은 더 약한 티처 네트워크를 사용할 때에도 성능 향상이 지속됨을 보여주며, 데이터 증강 전략으로서의 강건성과 효과성을 입증했다.