[논문 리뷰] Residual Bi-Fusion Feature Pyramid Network for Accurate Single-shot Object Detection

Ping-Yang Chen, Jun-Wei Hsieh외 3명|arXiv (Cornell University)|2019. 11. 27.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 양방향 잔차 연결을 통해 깊은 의미론적 특징과 얕은 공간 정밀도 특징을 융합함으로써 단일 셸터 객체 검출 성능을 햖थ한 잔차 이중 융합 특징 피라미드 네트워크(RBF-FPN)를 제안한다. 기존의 상향식 특징 피라미드가 풀링 연산으로 인한 위치 이탈 문제로 인해 정밀도가 떨어지고 소형 객체 검출 성능이 열악한 데 반해, RBF-FPN은 정확한 국소화를 유지하면서 다양한 객체 크기에서 정확도를 향상시켜, 백본 구조의 최소한의 수정으로 VOC 및 MS COCO 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

State-of-the-art (SoTA) models have improved the accuracy of object detection with a large margin via a FP (feature pyramid). FP is a top-down aggregation to collect semantically strong features to improve scale invariance in both two-stage and one-stage detectors. However, this top-down pathway cannot preserve accurate object positions due to the shift-effect of pooling. Thus, the advantage of FP to improve detection accuracy will disappear when more layers are used. The original FP lacks a bottom-up pathway to offset the lost information from lower-layer feature maps. It performs well in large-sized object detection but poor in small-sized object detection. A new structure "residual feature pyramid" is proposed in this paper. It is bidirectional to fuse both deep and shallow features towards more effective and robust detection for both small-sized and large-sized objects. Due to the "residual" nature, it can be easily trained and integrated to different backbones (even deeper or lighter) than other bi-directional methods. One important property of this residual FP is: accuracy improvement is still found even if more layers are adopted. Extensive experiments on VOC and MS COCO datasets showed the proposed method achieved the SoTA results for highly-accurate and efficient object detection..

연구 동기 및 목표

• 풀링 연산으로 인한 풀링으로 인한 깊은 특징 피라미드에서의 검출 정확도 저하 문제를 해결하기 위해.
• 상향식 특징 집합 과정에서 손실된 공간 정밀도를 복원하여 소형 객체 검출 성능을 향상시키기 위해.
• 의미론적 강도와 국소화 정확도를 모두 향상시키는 이중 방향 잔차 특징 융합 메커니즘을 설계하기 위해.
• 더 깊거나 경량 백본을 사용할 경우에도 효과적이고 학습 가능한 방법을 확보하기 위해.
• 추론 효율성을 희생시키지 않고 단일 셸터 객체 검출에서 최신 기술 수준의 정확도를 달성하기 위해.

제안 방법

• 얕은 층과 깊은 층의 특징 간 잔차 연결을 도입하여 학습 안정성을 확보하고 다양한 백본과의 통합을 가능하게 하는 잔차 이중 융합 특징 피라미드(RBF-FPN)를 제안한다.
• 하향식 경로에서 손실된 공간 정보를 복구하기 위해 하향식 경로를 통해 특징을 융합하고, 상향식 경로를 통해 의미론적 이해를 향상시킨다.
• 요소별 잔차 연결을 사용하여 기울기 흐름을 가능하게 하고 학습 중 기울기 소실 문제를 완화한다.
• 디컨볼루션을 이용한 업샘플링과 스킵 커넥션을 통한 캐터너이션을 통해 다중 스케일에서 특징 융합을 수행한다.
• 모듈러 구조로 설계하여 깊거나 경량 백본 네트워크와 모두 호환 가능하도록 한다.

실험 결과

연구 질문

• RQ1 이중 방향 특징 융합 메커니즘은 단일 셸터 검출기에서 소형 및 대형 객체 검출 정확도 향상에 기여하는가?
• RQ2 특징 피라미드 내에서 잔차 학습이 상향식 경로에서의 풀링으로 인한 위치 이탈 문제를 완화하는가?
• RQ3 더 깊거나 경량 백본을 사용할 경우 제안된 방법이 정확도를 유지하거나 향상시키는가?
• RQ4 기본 특징 피라미드 네트워크와 비교해 RBF-FPN의 국소화 정밀도와 mAP 측면에서 성능은 어떠한가?
• RQ5 RBF-FPN의 성능 향상이 특히 소형 객체에서 일관되게 유지되는가?

주요 결과

• 제안된 RBF-FPN은 MS COCO 데이터셋에서 최신 기술 수준의 mAP 성능을 달성하며, 기존의 단일 셸터 검출기들을 능가한다.
• VOC 2007 및 VOC 2012 벤치마크에서 RBF-FPN은 각각 84.1% 및 84.3%의 mAP를 기록하여 이전 최신 기술 수준의 방법들을 초월한다.
• 더 깊거나 경량 백본을 사용할 경우에도 일관된 정확도 향상이 유지되어 강력한 일반화 능력을 보여준다.
• 이중 융합을 통해 공간 세부 정보를 더 잘 유지함으로써 소형 객체 검출 성능이 크게 향상된다.
• 잔차 설계 덕분에 더 깊은 특징 피라미드에서도 안정적인 학습과 효과적인 특징 학습이 가능하다.
• 광범위한 아블레이션 스터디를 통해 이중 융합과 잔차 구성 요소가 성능 향상에 필수적임을 확인한다.