[논문 리뷰] iffDetector: Inference-aware Feature Filtering for Object Detection

Mingyuan Mao, Yuxin Tian외 5명|arXiv (Cornell University)|2020. 06. 23.

Advanced Neural Network Applications참고 문헌 31인용 수 5

한 줄 요약

이 논문은 추론 중에 고수준 의미 정보와 푸리에 분석을 활용한 피드백을 통해 특징 표현을 향상시키는 Inference-aware Feature Filtering (IFF) 모듈을 통합한 플러그 앤 플레이 객체 검출 프레임워크인 iffDetector를 제안한다. IFF는 폐쇄형 피드백을 통해 특징 맵을 노이즈 제거하여 최소한의 계산 비용으로 정확도를 향상시키며, PASCAL VOC 및 COCO에서 최신 기술 수준(SOTA) 성능을 달성하며 최대 0.9% AP 향상을 기록한다.

ABSTRACT

Modern CNN-based object detectors focus on feature configuration during training but often ignore feature optimization during inference. In this paper, we propose a new feature optimization approach to enhance features and suppress background noise in both the training and inference stages. We introduce a generic Inference-aware Feature Filtering (IFF) module that can easily be combined with modern detectors, resulting in our iffDetector. Unlike conventional open-loop feature calculation approaches without feedback, the IFF module performs closed-loop optimization by leveraging high-level semantics to enhance the convolutional features. By applying Fourier transform analysis, we demonstrate that the IFF module acts as a negative feedback that theoretically guarantees the stability of feature learning. IFF can be fused with CNN-based object detectors in a plug-and-play manner with negligible computational cost overhead. Experiments on the PASCAL VOC and MS COCO datasets demonstrate that our iffDetector consistently outperforms state-of-the-art methods by significant margins\footnote{The test code and model are anonymously available in https://github.com/anonymous2020new/iffDetector }.

연구 동기 및 목표

• CNN 기반 객체 검출기에서 추론 중 특징 최적화의 격차를 보완하기 위해.
• 백본 추출 후 특징 맵의 노이즈가 많거나 잘못 활성화된 영역을 개선하여 특징 표현을 향상시키기 위해.
• 고수준 의미 정보를 활용해 추론 중 특징 정제를 이끄는 피드백 메커니즘을 도입하기 위해.
• 부정 피드백 분석을 통해 특징 최적화 과정의 이론적 안정성을 확보하기 위해.
• 기존의 앵커 기반 및 앵커리스 검출기 모두를 거의 영향을 주지 않고 향상시킬 수 있는 플러그 앤 플레이 모듈을 개발하기 위해.

제안 방법

• IFF 모듈은 고수준 의미 예측을 활용해 저수준 컨볼루션 특징을 정제함으로써 폐쇄형 피드백을 통한 특징 최적화를 수행한다.
• 객체에 해당하는 활성화 영역을 강화하고 배경 노이즈를 억제하는 학습 가능한 필터링 메커니즘을 적용한다.
• 특징 추출 후 추론 파이프라인에 통합되어 검출 헤드에서 특징 맵으로의 피드백을 가능하게 한다.
• 푸리에 분석을 통해 IFF가 부정 피드백 시스템으로 작용함을 입증하여 특징 학습의 이론적 안정성을 보장한다.
• 가벼운 1×1 또는 3×3 컨볼루션을 활용해 최소한의 파라미터 및 계산 오버헤드를 확보한다.
• 다양한 검출기(예: FoveaBox, FreeAnchor, CenterNet)와 호환되며 플러그인 모듈로 적용 가능하다.

실험 결과

연구 질문

• RQ1 표준 학습 시간 특징 엔지니어링을 넘어서 추론 중 특징 최적화가 객체 검출 성능 향상에 기여할 수 있는가?
• RQ2 추론 중에 고수준 의미 정보를 안정적이고 효과적으로 저수준 특징을 정제하는 데 어떻게 활용할 수 있는가?
• RQ3 객체 검출의 특징 학습 과정에 피드백을 도입할 경우 이론적 영향은 무엇인가?
• RQ4 가벼운 플러그 앤 플레이 모듈이 추론 시간을 증가시키지 않고도 앵커 기반 및 앵커리스 검출기 모두를 상당히 향상시킬 수 있는가?
• RQ5 제안된 IFF 모듈이 특징 학습을 안정화시키는가? 이는 이론적으로 증명될 수 있는가?

주요 결과

• ResNeXt-101 기반에서 iffDetector는 FreeAnchor 대비 AP 0.6% 향상, AP_L 0.9% 향상하여 COCO 2017에서 최신 기술 수준 성능을 달성한다.
• PASCAL VOC에서 iffDetector는 ResNet-50 기반으로 39.6 AP를 기록하여 FreeAnchor(38.7 AP)와 RetinaNet(35.7 AP)를 모두 초월한다.
• IFF 모듈은 파라미터 수를 2% 미만으로 증가시키며 거의 동일한 학습 및 추론 시간을 유지한다.
• ResNeXt-101 기반에서 iffDetector는 47.9 AP를 기록하여 FreeAnchor의 47.3 AP 대비 0.6% 상대적 향상을 달성한다.
• IFF 모듈은 FoveaBox, FreeAnchor, CenterNet를 포함한 다양한 백본 및 검출기 아키텍처에서 일관되게 성능 향상을 이룬다.
• 푸리에 분석을 통해 IFF가 부정 피드백 시스템으로 작용함을 확인하여 특징 학습의 이론적 안정성을 보장한다.