[논문 리뷰] Solution for Large-Scale Hierarchical Object Detection Datasets with Incomplete Annotation and Data Imbalance

Yuan Gao, Xingyuan Bu외 5명|arXiv (Cornell University)|2018. 10. 15.

Advanced Image and Video Retrieval Techniques참고 문헌 16인용 수 16

한 줄 요약

이 논문은 Open Images 2018 챌린지에서 대규모 계층적 객체 검출을 위한 종합적인 솔루션을 제시하며, 심각한 주석 누락과 데이터 불균형 문제를 해결하기 위해 클래스 인식 샘플링(CAS), 계층적 비최대 억제(HNMS), SNIPER, 모델 앙상블 전략을 활용한다. SENet154와 피처 프라임을 조합한 방법은 공개 랭킹에서 62.2% mAP를 기록해 2위를 달성했으며, 최고의 단일 모델은 56.9% mAP를 기록했다.

ABSTRACT

This report demonstrates our solution for the Open Images 2018 Challenge. Based on our detailed analysis on the Open Images Datasets (OID), it is found that there are four typical features: large-scale, hierarchical tag system, severe annotation incompleteness and data imbalance. Considering these characteristics, an amount of strategies are employed, including SNIPER, soft sampling, class-aware sampling (CAS), hierarchical non-maximum suppression (HNMS) and so on. In virtue of these effective strategies, and further using the powerful SENet154 armed with feature pyramid module and deformable ROIalign as the backbone, our best single model could achieve a mAP of 56.9%. After a further ensemble with 9 models, the final mAP is boosted to 62.2% in the public leaderboard (ranked the 2nd place) and 58.6% in the private leaderboard (ranked the 3rd place, slightly inferior to the 1st place by only 0.04 point).

연구 동기 및 목표

• Open Images와 같은 대규모 계층적 객체 검출 데이터셋에서 심각한 주석 누락과 극심한 데이터 불균형 문제를 해결하기 위해.
• 계층적 클래스 구조 내에서 장기 꼬리 및 희귀 카테고리의 검출 성능을 향상시키기 위해.
• 실제로 완벽하지 않은 주석이 달린 데이터셋에 특화된 효과적인 훈련 전략을 개발하고 검증하기 위해.
• 이중 단계 검출기 프레임워크를 사용해 Open Images 2018 챌린지에서 최신 기술 성능을 달성하기 위해.

제안 방법

• 훈련 중에 부족한 클래스에서 어려운 예제를 우선적으로 처리하기 위해 클래스 인식 샘플링(CAS)을 적용하여 희귀 카테고리 검출 성능을 향상시켰다.
• 계층적 신뢰도 점수를 활용해 부모-자식 클래스 관계의 검출을 향상시키기 위해 계층적 비최대 억제(HNMS)를 적용했다.
• 유사한 크기의 패치를 샘플링함으로써 척도 인식 훈련을 가능하게 하여 SNIPER을 통합함으로써 소형 및 대형 객체에 대한 특징 활용도를 향상시켰다.
• 강력한 백본(SENet154)과 피처 프라임 네트워크(FPN), 변형 가능 ROI-Align을 사용하여 특징 표현 및 국소화 정확도를 향상시켰다.
• 다중 척도 훈련 및 테스트(MST)와 미니 검증 세트를 통한 데이터 증강을 구현하여 일반화 능력과 훈련 효율성을 향상시켰다.
• 다양한 구성(다른 백본, 변형 가능 레이어, 구성 요소)을 가진 9개의 모델 앙상블을 수행하여 최종 성능을 향상시켰다.

실험 결과

연구 질문

• RQ1 심각한 주석 누락이 있는 대규모 데이터셋에서 객체 검출 모델을 효과적으로 훈련시킬 수 있는 방법은 무엇인가?
• RQ2 계층적 검출 작업에서 극심한 클래스 불균형으로 인한 성능 저하를 완화하기 위한 전략은 무엇인가?
• RQ3 계층적 비최대 억제(HNMS)는 부모 및 자식 클래스 관계의 검출을 얼마나 향상시킬 수 있는가?
• RQ4 척도 인식 샘플링(SNIPER)과 클래스 인식 샘플링(CAS)이 함께 작용할 때 희귀 및 소형 객체 검출 성능을 얼마나 향상시킬 수 있는가?
• RQ5 모델 앙성과 아키텍처 개선은 장기 꼬리 검출에서 개별 모델의 한계를 극복하는 데 얼마나 효과적인가?

주요 결과

• 최고의 단일 모델은 SENet154, FPN, 변형 가능 ROI-Align 및 전반적인 전략 세트를 활용해 56.9% mAP를 기록했다.
• 클래스 인식 샘플링(CAS)만으로도 베이스라인 대비 7.6포인트의 mAP 향상을 기록하여 희귀 카테고리에 큰 영향을 미쳤다.
• 계층적 NMS(HNMS)는 추가로 2포인트의 성능 향상을 이끌어내어 계층적 클래스 관계 검출을 향상시켰다.
• 최종 9개 모델의 앙상블은 공개 랭킹에서 62.2% mAP를 기록해 2위를 달성했으며, 비공개 랭킹에선 58.6% mAP를 기록해 1위와 0.04포인트 뒤진 성과를 냈다.
• 온라인 하드 예제 마이닝(OHEM)은 주석이 누락된 진짜 인스턴스가 하드 음성으로 잘못 분류되어 성능을 떨어뜨렸으며, 이는 주석 누락 환경에서의 위험을 드러냈다.
• 5,000장의 이미지로 구성된 미니 검증 세트를 활용한 데이터 증강은 mAP를 0.9포인트 향상시켜 훈련 데이터 확장의 효율성 향상을 입증했다.