[논문 리뷰] HS-FPN: High Frequency and Spatial Perception FPN for Tiny Object Detection

Zican Shi, Jing Hu외 7명|arXiv (Cornell University)|2024. 12. 13.

Brain Tumor Detection and Classification인용 수 6

한 줄 요약

논문은 HS-FPN을 도입하여 High Frequency Perception 모듈(HFP)과 Spatial Dependency Perception 모듈(SDP)을 Feature Pyramid Networks에 추가해 작은 물체 탐지를 향상시키고 AI-TOD 및 DOTA-mini10 데이터셋에서 AP 개선을 달성한다.

ABSTRACT

The introduction of Feature Pyramid Network (FPN) has significantly improved object detection performance. However, substantial challenges remain in detecting tiny objects, as their features occupy only a very small proportion of the feature maps. Although FPN integrates multi-scale features, it does not directly enhance or enrich the features of tiny objects. Furthermore, FPN lacks spatial perception ability. To address these issues, we propose a novel High Frequency and Spatial Perception Feature Pyramid Network (HS-FPN) with two innovative modules. First, we designed a high frequency perception module (HFP) that generates high frequency responses through high pass filters. These high frequency responses are used as mask weights from both spatial and channel perspectives to enrich and highlight the features of tiny objects in the original feature maps. Second, we developed a spatial dependency perception module (SDP) to capture the spatial dependencies that FPN lacks. Our experiments demonstrate that detectors based on HS-FPN exhibit competitive advantages over state-of-the-art models on the AI-TOD dataset for tiny object detection.

연구 동기 및 목표

• 표준 FPN이 작은 물체 탐지를 위한 세 가지 주요 한계를 식별한다.
• 제한된 특징 콘텐츠와 공간 인식 부족을 해결하기 위해 HFP와 SDP를 갖춘 HS-FPN 제안한다.
• TOD 데이터셋에서 여러 탐지기와 백본에 걸쳐 FPN을 HS-FPN으로 교체할 때의 호환성 및 성능 향상을 입증한다.

제안 방법

• FPN과 유사한 네 개의 횡 연결을 가진 HS-FPN 설계하되 각 횡 연결에 HFP 모듈이 포함된다.
• HFP는 사전에 결정된 고주파 필터를 통해 고주파 응답을 생성하고 채널 및 공간 분기에 이를 사용해 특징을 재가중한다.
• HFP 내 채널 경로는 고주파 응답으로 GAP와 GMP를 거친 후 그룹드 1x1 컨볼루션으로 채널 주의를 계산한다.
• HFP 내 공간 경로는 고주파 응답을 공간 마스크로 사용해 1x1 컨볼루션으로 공간 주의를 계산한다.
• 인접 C_i와 업샘플된 P_{i+1} 사이의 픽셀 수준 공간 의존성을 포착하기 위해 크로스 어텐션을 사용한 SDP 모듈 도입한다.
• 인접 피라미드 레벨 사이에 SDP를 통합해 작은 물체 특징을 공간적으로 의존하는 정보로 풍부하게 한다.
• AI-TOD 및 DOTA-mini10 데이터셋에서 Faster R-CNN, Cascade R-CNN, DetectoRS 백본으로 HS-FPN을 평가한다.

실험 결과

연구 질문

• RQ1 HS-FPN이 다수의 탐지기에서 표준 FPN보다 작은 물체 탐지 성능을 향상시키는가?
• RQ2 TOD 벤치마크에서 HFP와 SDP가 각각 및 공동으로 AP 지표에 어떤 영향을 미치는가?
• RQ3 FPN을 HS-FPN으로 교체했을 때 계산 비용 영향은 무엇인가?
• RQ4 고역통과 필터 매개변수 alpha와 서로 다른 백본에 대해 HS-FPN의 민감도는 어느 정도인가?

주요 결과

모델	AP	AP50	APt	APs	APm
기준 (FPN) - RetinaNet*	38.2	68.1	13.7	31.8	44.9
Faster R-CNN + HS-FPN	48.4	75.7	21.7	40.3	55.9
Cascade R-CNN + HS-FPN	50.9	76.6	22.2	41.8	59.0

• FPN을 HS-FPN으로 교체하면 AI-TOD에서 탐지기 전반에 걸쳐 AP가 크게 향상된다(예: Faster R-CNN + HS-FPN: AP 48.4 vs 46.9(FPN); Cascade R-CNN + HS-FPN: AP 50.9 vs 49.4).
• HFP와 SDP를 모두 가진 HS-FPN이 최상의 성능을 제공하며 단일 모듈 사용보다 더 높은 AP를 달성한다(예: Cascade R-CNN에서: AP 50.9/76.6/22.2/41.8/59.0 vs baseline 49.4/74.2/18.1/40.0/58.1).
• 한 요소 실험에서 HFP 단독은 FPN 대비 AP를 약 2.2포인트 향상시키고, SDP는 약 1.1포인트를 더하며, 이 둘을 결합하면 더 큰 이득(AP FPN 대비 최대 3.4포인트 상승)을 준다.
• DOTA-mini10에서 HS-FPN은 AP를 20.2(FPN baseline)에서 23.6으로 올리고 작은 물체 지표(AP_t 25.2, AP_s 27.0)에서 주목할 만한 향상이 있다.
• HS-FPN은 호환성을 보여주며 더 강한 백본에서도 AP를 향상시킨다(예: Faster R-CNN + HS-FPN with ResNet-101).
• 성능 향상에 비해 계산 비용 증가는 미미하다(표 5에 FLOPs/Params 증가가 나타남).