[논문 리뷰] Salience Biased Loss for Object Detection in Aerial Images

Peng Sun, Guang Chen외 2명|arXiv (Cornell University)|2018. 10. 18.

Advanced Neural Network Applications참고 문헌 18인용 수 13

한 줄 요약

이 논문은 항공 영상에서 객체 검출 성능을 햖스키기 위해 이미지의 시각적 주목도를 기반으로 학습 샘플의 가중치를 동적으로 조정하는 새로운 손실 함수인 Salience Biased Loss (SBL)를 제안한다. 복잡하고 검출이 어려운 케이스에 집중함으로써 SBL-RetinaNet은 DOTA에서 최신 기술 대비 4.31 mAP 향상을 달성하면서도 RetinaNet과 동일한 추론 속도를 유지한다.

ABSTRACT

Object detection in remote sensing, especially in aerial images, remains a challenging problem due to low image resolution, complex backgrounds, and variation of scale and angles of objects in images. In current implementations, multi-scale based and angle-based networks have been proposed and generate promising results with aerial image detection. In this paper, we propose a novel loss function, called Salience Biased Loss (SBL), for deep neural networks, which uses salience information of the input image to achieve improved performance for object detection. Our novel loss function treats training examples differently based on input complexity in order to avoid the over-contribution of easy cases in the training process. In our experiments, RetinaNet was trained with SBL to generate an one-stage detector, SBL-RetinaNet. SBL-RetinaNet is applied to the largest existing public aerial image dataset, DOTA. Experimental results show our proposed loss function with the RetinaNet architecture outperformed other state-of-art object detection models by at least 4.31 mAP, and RetinaNet by 2.26 mAP with the same inference speed of RetinaNet.

연구 동기 및 목표

• 쉬운 샘플이 학습에 지배적으로 영향을 미치며 모델 수렴을 저해하는 항공 영상 객체 검출에서의 불균형 학습 문제를 해결한다.
• 극도로 다양한 척도 변화, 임의의 객체 방향, 혼잡한 배경을 가진 복잡한 항공 영상에서의 검출 성능을 향상시킨다.
• 정확도 향상을 위해 새로운 학습 목표 함수를 도입하면서도 RetinaNet과 동일한 추론 속도를 유지한다.
• 모델 일반화 능력을 향상시키기 위해 어려운, 주목도가 높은 영역을 적응적으로 우선순위화하는 손실 함수를 개발한다.
• 아키텍처 수정 없이도 DOTA 및 LBAI와 같은 대규모 항공 영상 데이터셋에서 SBL의 효과를 입증한다.

제안 방법

• 사전 학습된 ResNet50 백본의 중간 합성곱 특징(예: C2, C5)에서 시각적 주목도 지도를 추출하여 이미지의 복잡도를 정량화한다.
• 특징 맵 내 주목도 영역의 공간 분포를 기반으로 각 학습 샘플에 대한 주목도 기반 가중치를 계산한다.
• 표준 교차 엔트로피 손실을 SBL로 대체하여 SBL-RetinaNet의 표준 분류 및 회귀 헤드에 주목도 가중 손실을 통합한다.
• 주목도에 따라 손실 기여도가 조정되는 가중 조합 방식을 사용하여 바운딩 박스 회귀 및 분류에 SBL과 스무스 L1 손실을 결합한다.
• Adam 옵timizer를 사용하고 코즈 인수 감소 스케줄을 적용하며, 고정된 입력 해상도(1024×1024 for DOTA, 512×512 for LBAI)로 SBL-RetinaNet을 학습한다.
• 제안된 손실 함수의 성능을 최적화하기 위해 아블레이션을 통해 최적의 주목도 수준(C2)을 선정하였다. 이는 기준 RetinaNet 대비 가장 높은 mAP 향상을 이끌어냈다.

실험 결과

연구 질문

• RQ1 항공 영상에서 주목도가 높고 복잡한 영역을 우선순위로 삼는 손실 함수가 추론 비용을 증가시키지 않고도 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 표준 교차 엔트로피 손실 대비 주목도 기반 가중치가 항공 영상 검출에서의 클래스 불균형 문제를 어떻게 다루는가?
• RQ3 제안된 SBL 손실 함수가 다양한 척도와 배경 복잡도를 가진 다양한 항공 영상 데이터셋에 일반화되는가?
• RQ4 SBL-RetinaNet은 추론 속도를 유지하면서도 DOTA와 같은 대규모 벤치마크에서 최신 기술을 초월할 수 있는가?
• RQ5 C2, C5와 같은 특정 특징 레이어 중에서 손실 가중치를 안내하는 데 가장 효과적인 주목도 표현을 제공하는 것은 무엇인가?

주요 결과

• SBL-RetinaNet은 DOTA 데이터셋에서 가장 가까운 경쟁 모델인 Faster R-CNN 대비 4.31 mAP 향상을 달성하여 기존 최신 기술 모델을 크게 능가했다.
• DOTA 테스트 세트에서 SBL-RetinaNet은 64.77 mAP를 기록했으며, 앵커 크기 조정을 적용한 RetinaNet의 62.51 mAP 대비 2.26 mAP 향상되었고, 동일한 추론 속도를 유지했다.
• LBAI 데이터셋에서 SBL-RetinaNet은 수정된 RetinaNet 베이스라인(91.18%) 대비 F1 스코어 1.31% 향상(92.49%)을 기록하여 강력한 일반화 능력을 입증했다.
• C2 특징 맵이 최적의 주목도 표현을 제공하여 가장 높은 mAP 향상을 이끌어내었으며, 이는 초기 단계 특징이 유용한 복잡도 신호를 포착하고 있음을 시사한다.
• 모델는 표준 RetinaNet과 동일한 추론 속도를 유지하여, SBL이 배포 시 계산 오버헤드를 추가하지 않음을 확인했다.
• 시각화 결과 SBL-RetinaNet이 작은 객체, 빽빽한 객체, 기울어진 객체를 더 잘 검출하는 것으로 나타났으며, 특히 복잡한 배경에서의 성능 향상이 두드러졌다.