[논문 리뷰] Reduced Focal Loss: 1st Place Solution to xView object detection in Satellite Imagery

Nikolay Sergievskiy, Alexander Ponamarev|arXiv (Cornell University)|2019. 03. 04.

Advanced Neural Network Applications참고 문헌 4인용 수 26

한 줄 요약

이 논문은 감소된 포칼 손실(Reduced Focal Loss, RFL)을 소개한다. RFL은 어려운 샘플과 잘못 레이블링된 샘플에 대한 집중을 완화하면서도 어려운 샘플 마이닝을 유지함으로써 위성 이미지의 객체 검출에서 클래스 불균형 문제를 완화하는 새로운 손실 함수이다. RFL은 희귀 클래스의 재현율을 향상시키며, 테스트 시간 증강을 사용한 모델 앙상블을 통해 xView 2018 검출 경연에서 공개 리더보드 기준 31.74 mAP, 비공개 리더보드 기준 29.32 mAP로 1등을 차지했다.

ABSTRACT

This paper describes our approach to the DIUx xView 2018 Detection Challenge [1]. This challenge focuses on a new satellite imagery dataset. The dataset contains 60 object classes that are highly imbalanced. Due to the imbalanced nature of the dataset, the training process becomes significantly more challenging. To address this problem, we introduce a novel Reduced Focal Loss function, which brought us 1st place in the DIUx xView 2018 Detection Challenge.

연구 동기 및 목표

• 희귀 클래스(예: 철도 차량, 100개의 인스턴스)가 일반 클래스(예: 소형 자동차, 20만 개 이상의 인스턴스)에 비해 극도로 적은 xView 위성 영상 데이터셋에서의 극심한 클래스 불균형 문제를 해결한다.
• 표준 포칼 손실의 한계를 극복한다. 표준 포칼 손실은 어려운 샘플에 과도하게 집중함으로써 두 단계의 Faster R-CNN 파ipeline 설계 원칙을 해칠 수 있다.
• 어려운 샘플 마이닝을 유지하면서도 잘못 레이블링된 샘플과 어려운 샘플에 대한 민감도를 줄이는 손실 함수를 개발하여 희귀 클래스 성능을 향상시킨다.
• 희귀 클래스의 일반화 능력과 mAP를 향상시키기 위해 수정된 손실 함수와 랜덤 언더샘플링을 통한 데이터 수준 정규화를 조합한다.

제안 방법

• 표준 포칼 손실의 변형으로, 정확도가 임계값 이하일 경우(예: RPN의 경우 0.5, Fast R-CNN의 경우 0.25) 손실 기울기를 줄이는 임계값 기반 커프오프 요소를 적용한 감소된 포칼 손실(RFL)을 제안한다.
• 커프오프 요소 f(pt, th)를 정의하여 pt < th 인 경우 손실은 1로 스케일링하고, pt ≥ th 인 경우 (1-pt)^γ / th^γ 로 스케일링함으로써, 낮은 신뢰도 예측에 대해 손실을 부드럽게 조절한다.
• 낮은 손실 영역(pt < 0.5)에서 표준 포칼 손실과 교차 엔트로피 간의 내장된 스위치를 도입하여, 희귀하거나 잘못 레이블링된 샘플의 극단적 영향을 줄이면서도 잘 분류된 예측은 여전히 억제한다.
• 훈련 중 가장 흔한 클래스(소형 자동차 및 건물)의 랜덤 언더샘플링을 적용하여 클래스 불균형을 추가로 감소시킨다. 이는 구성 가능한 확률을 사용해 이들 클래스의 샘플을 제거함으로써 이루어진다.
• 학습률 감소를 적용한 24시간 초기 훈련 후, 훈련+검증 데이터를 통합해 훈련한 후 미세조정하는 두 단계 훈련 프로세스를 사용하여 Faster R-CNN 모델을 훈련한다. 백본은 FPN과 ResNet-50을 사용한다.
• 테스트 시간 증강과 다양한 모델(예: 다른 크기, 회전, 아키텍처) 간의 수정된 투표 전략을 사용한 앙상블을 통해 최종 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 극도로 불균형한 위성 영상에 표준 포칼 손실을 적용했을 때, 두 단계 객체 검출기에서 RPN 재현율에 어떤 영향을 미치는가?
• RQ2 어려운 샘플과 잘못 레이블링된 샘플의 부정적 영향을 줄이되, 어려운 샘플 마이닝을 훼손하지 않도록 수정된 손실 함수를 설계할 수 있는가?
• RQ3 희귀 클래스의 빈도를 낮춘 언더샘플링을 통해 위성 영상의 객체 검출에서 희귀 클래스의 mAP는 얼마나 향상될 수 있는가?
• RQ4 감소된 포칼 손실과 데이터 수준 정규화(언더샘플링)를 조합하면 개별적으로 사용했을 때보다 성능이 향상되는가?
• RQ5 테스트 시간 증강을 적용한 모델 앙상블은 xView 데이터셋에서 개별 모델 성능을 초월해 mAP를 더 높일 수 있는가?

주요 결과

• 감소된 포칼 손실(RFL)은 검증 세트에서 28.32 mAP를 기록하여 표준 포칼 손실(19.01 mAP)과 기본 SSD(21.78 mAP)보다 유의미한 향상을 보였다.
• RFL을 사용한 모델은 공개 리더보드에서 31.74 mAP, 비공개 리더보드에서 29.32 mAP를 기록하여 xView 2018 검출 경연에서 1등을 차지했다.
• 표준 포칼 손실 대비 RFL은 희귀 클래스의 평균 재현율을 10.5%p 향상시켰다(0.66에서 0.775 mRecall로). 이는 클래스 불균형 문제 해결에 효과적임을 보여준다.
• 소형 자동차 및 건물의 랜덤 언더샘플링은 희귀 클래스의 mAP를 추가로 향상시켜, 이 기법을 사용하지 않은 전체 데이터셋으로 훈련한 모델보다 우수한 성능을 보였다.
• 최종 앙상블 모델는 테스트 시간 증강을 통해 공개 리더보드에서 31.74 mAP를 기록하여, 다양한 증강 기법을 적용한 다수의 모델을 조합함으로써 성능 향상이 크게 이루어졌음을 보여주었다.
• 아블레이션 스터디는 RFL이 표준 포칼 손실이 초래하는 RPN 재현율 감소를 완화함으로써, 두 단계 검출기의 설계 원칙인 RPN에서의 재현율 최대화를 유지함을 확인했다.