[논문 리뷰] Large-Scale Object Detection in the Wild from Imbalanced Multi-Labels

Junran Peng, Xingyuan Bu외 4명|arXiv (Cornell University)|2020. 05. 18.

Advanced Neural Network Applications참고 문헌 24인용 수 4

한 줄 요약

이 논문은 Open Images 데이터셋을 사용한 대규모 객체 검출에서 다중 레이블 모호성과 극단적인 레이블 불균형 문제를 해결하기 위해 동시 소프트맥스 손실과 소프트-밸런스 전략을 결합한 하이브리드 트레이닝 스케줄러를 제안한다. 단일 모델 기준으로 60.90 mAP을 달성하고 앙상블을 사용할 경우 67.17 mAP를 기록하여 Open Images 공개 테스트 챌린지 세트에서 기존 방법보다 4.29점 높은 최신 기준 성능을 달성한다.

ABSTRACT

Training with more data has always been the most stable and effective way of improving performance in deep learning era. As the largest object detection dataset so far, Open Images brings great opportunities and challenges for object detection in general and sophisticated scenarios. However, owing to its semi-automatic collecting and labeling pipeline to deal with the huge data scale, Open Images dataset suffers from label-related problems that objects may explicitly or implicitly have multiple labels and the label distribution is extremely imbalanced. In this work, we quantitatively analyze these label problems and provide a simple but effective solution. We design a concurrent softmax to handle the multi-label problems in object detection and propose a soft-sampling methods with hybrid training scheduler to deal with the label imbalance. Overall, our method yields a dramatic improvement of 3.34 points, leading to the best single model with 60.90 mAP on the public object detection test set of Open Images. And our ensembling result achieves 67.17 mAP, which is 4.29 points higher than the best result of Open Images public test 2018.

연구 동기 및 목표

• Open Images 데이터셋의 다중 레이블 주석과 극단적인 레이블 불균형 문제로 인해 모델의 일반화 능력이 저하되는 문제를 해결하기 위해.
• 복잡하고 계층적이며 겹치는 레이블을 가진 대규모 실세계 데이터셋에서 객체 검출 성능을 향상시키기 위해.
• 주로 나타나는 클래스에 과적합되지 않도록 희귀 카테고리와 빈번한 카테고리 양쪽을 효과적으로 다룰 수 있는 트레이닝 전략을 개발하기 위해.
• 단일 모델 및 앙상블 방식을 사용하여 Open Images 테스트 챌린지 벤치마크에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 훈련 및 추론 모두에서 다중 레이블 예측을 가능하게 하는 동시 소프트맥스 손실을 도입하여 명시적 및 암시적 다중 레이블 케이스를 모두 처리한다.
• 카테고리 빈도에 기반해 손실 가중치를 동적으로 조정하는 소프트-밸런스 전략을 제안하여 희귀 클래스에 대한 과적합을 줄인다.
• 클래스 인식 샘플링과 비균형 미세조정을 조합한 하이브리드 트레이닝 스케줄러를 적용하여 데이터 효율성과 모델 수렴 성능를 향상시킨다.
• 다단계 트레이닝 파이프라인을 사용한다: ImageNet으로의 사전 훈련, 이후 클래스 인식 샘플링, 마지막으로 동시 소프트맥스를 사용한 소프트-밸런스 미세조정.
• 성능 향상을 위해 데이터 증강 및 손실 함수 탐색을 추가로 적용한다.
• 최종 추론을 위해 ResNeXt-101, ResNeXt-152, EfficientNet-B7를 사용한 모델 앙상블을 구현한다.

실험 결과

연구 질문

• RQ1 암시적 및 명시적 다중 레이블 주석을 가진 대규모 데이터셋에서 딥 객체 검출기를 효과적으로 훈련시키는 방법은 무엇인가?
• RQ2 불균형 데이터셋에서 빈번한 카테고리의 데이터를 최대한 활용하면서도 희귀 카테고리에 대한 과적합을 완화할 수 있는 트레이닝 전략은 무엇인가?
• RQ3 객체가 다중 계층적 또는 겹치는 클래스에 속할 경우 동시 소프트맥스 손실이 검출 성능 향상에 기여할 수 있는가?
• RQ4 클래스 인식 샘플링과 비균형 미세조정을 조합한 하이브리드 트레이닝 스케줄러가 불균형 데이터에서 모델 일반화에 어떤 영향을 미치는가?
• RQ5 소프트-밸런스 손실과 동시 소프트맥스가 이전 방법에 비해 Open Images 테스트 챌린지 세트에서 mAP에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 Open Images 공개 테스트 챌린지 세트에서 단일 모델 기준으로 60.90 mAP를 달성하였으며, 이는 이전 최고 성능 단일 모델 대비 3.34점 향상된 성능이다.
• 앙상블 결과는 67.17 mAP를 기록하였으며, 이는 2018년 Open Images 챌린지에서 기록된 최고의 앙상블 결과보다 4.29점 높은 성능이다.
• λ=0.7인 소프트-밸런스 전략은 희귀 카테고리에 대한 과적합을 줄이고, 모든 카테고리 그룹에서 성능 향상을 이끌어냈다. 반면 λ=1.0일 경우 성능 저하가 발생했다.
• 하이브리드 트레이닝 스케줄러는 표준 사전 훈련 및 샘플링 전략보다 뛰어난 성능을 보였으며, 특히 초기부터 미세조정을 수행할 경우 67.09 mAP를 기록하여 소프트-밸런스 전략과 함께 뛰어난 성능을 발휘했다.
• 동시 소프트맥스, 소프트-밸런스, 하이브리드 스케줄러를 순차적으로 추가함으로써 mAP가 각각 1.26점, 1.04점, 1.24점 향상되었으며, 이는 점진적인 성능 향상을 입증한다.
• 다양한 아키텍처와 추가적인 데이터 증강을 적용한 최종 앙상블은 67.17 mAP를 달성하여 Open Images 벤치마크에서 새로운 최고 성능을 수립했다.