[논문 리뷰] Cooperating RPN's Improve Few-Shot Object Detection

Weilin Zhang, Yu-Xiong Wang외 1명|arXiv (Cornell University)|2020. 11. 19.

Advanced Neural Network Applications참고 문헌 34인용 수 17

한 줄 요약

이 논문은 소수의 샘플로 학습하는 경우에 희귀 클래스 객체가 자주 누락되는 '제안 무시' 문제를 완화하기 위해 다수의 다양하면서도 상호보완적인 영역 제안 네트워크(Region Proposal Networks, RPNs)를 결합하는 CoRPNs(협력적 RPNs)를 제안한다. 다양성과 협업을 보장하기 위해 상관 행렬의 로그 행렬식을 기반으로 한 다양성 손실과 협업 손실을 도입함으로써 CoRPNs는 거짓 음성 수를 크게 감소시키고, 1-shot 학습에서 PASCAL VOC의 3번 분할에서 35.8 AP50의 최신 기술 수준 성능을 달성한다.

ABSTRACT

Learning to detect an object in an image from very few training examples - few-shot object detection - is challenging, because the classifier that sees proposal boxes has very little training data. A particularly challenging training regime occurs when there are one or two training examples. In this case, if the region proposal network (RPN) misses even one high intersection-over-union (IOU) training box, the classifier's model of how object appearance varies can be severely impacted. We use multiple distinct yet cooperating RPN's. Our RPN's are trained to be different, but not too different; doing so yields significant performance improvements over state of the art for COCO and PASCAL VOC in the very few-shot setting. This effect appears to be independent of the choice of classifier or dataset.

연구 동기 및 목표

• 희귀 카테고리에 대해 높은 IoU 제안을 누락하는 현상으로 인해 소수의 샘플로 학습하는 경우 성능이 급격히 떨어지는 문제를 해결하기 위해.
• 제한된 학습 데이터로 인해 단일 RPN이 새로운 클래스에 대해 높은 IoU 박스를 제안하지 못하는 '제안 무시' 현상을 식별하고 완화하기 위해.
• 소수의 샘플에 대해 제안 커버리지를 극대화하면서도 거짓 양성 수를 최소화하는 RPN 앙상블을 설계하기 위해.
• 분류기의 변경 없이도 제안 커버리지 향상만으로도 소수의 샘플로 학습하는 경우의 성능 향상이 상당히 이루어질 수 있음을 보여주기 위해.
• 제안된 방법이 다양한 데이터셋과 분류기 아키텍처에 일반화됨을 보여주기 위해.

제안 방법

• 공통 백본을 공유하는 공통 프레임워크에서 다수의 RPN을 학습하며, RPN 특징 맵 간 상관 행렬의 로그 행렬식을 기반으로 한 다양성 손실을 적용한다.
• 동일한 이미지 영역에서 높은 IoU 제안을 공유하도록 유도하는 협업 손실을 도입함으로써 중복을 줄이고 커버리지를 유지한다.
• 하이퍼파라미터 φ를 사용해 임계값을 적용한 협업 손실을 도입하여 제안 커버리지와 거짓 양성 비율 사이의 트레이드오프를 제어한다.
• 학습 중에 RPN 앙상블을 적용하여 분류기의 제안을 생성하고, 분류기는 모든 RPN에서 유래한 병합된 제안을 기반으로 미세조정한다.
• 추론 단계에서는 RPN을 고정하고 NMS를 적용하여 최종 검출 결과를 정제한다.
• 분류, 회귀, 다양성 및 협업 손실을 통합한 다중 작업 손실을 최적화하여 앙상블를 최적화한다.

실험 결과

연구 질문

• RQ1 단일 또는 이차 학습 샘플만 존재할 경우, '제안 무시' 현상이 소수의 샘플로 학습하는 경우의 객체 검출 성능에 심각한 영향을 미치는가?
• RQ2 통제된 다양성과 협업을 갖춘 다수의 RPN을 학습시켜 희귀 객체 카테고리의 제안 커버리지를 향상시킬 수 있는가?
• RQ3 제안된 다양성과 협업 손실 메커니즘이 단순 RPN 앙상블나 이전의 다양성 기반 방법에 비해 거짓 음성 감소 측면에서 어떻게 비교되는가?
• RQ4 소수의 샘플로 학습하는 경우에 커버리지와 거짓 양성 비율을 균형 잡는 데 최적의 RPN 수는 얼마인가?
• RQ5 CoRPNs로 얻는 성능 향상이 다양한 데이터셋과 분류기 아키텍처 간에도 유지되는가?

주요 결과

• CoRPNs는 1-shot 학습에서 PASCAL VOC 3번 분할에서 35.8 AP50의 성능을 기록하며, 이는 이전 최고 기록(TFA)의 28.9에 비해 뚜렷이 뛰어나다.
• 협업 손실은 평균 거짓 음성 전경 박스 수를 TFA의 3.1에서 φ = 0.9인 CoRPNs의 0.8로 감소시켜 더 나은 제안 커버리지를 보여준다.
• NMS 이후 평균 전경 샘플 수는 TFA의 18.6에서 CoRPNs(φ = 0.1)의 22.3으로 증가하여 검출 신뢰도 향상을 보여준다.
• 제안된 방법을 사용한 2개의 RPN(35.8 AP50)이 단순 5개의 RPN 앙상블(34.8 AP50)보다 성능이 뛰어나, 통제된 협업의 효과를 입증한다.
• 로그 행렬식 다양성 손실은 쌍별 코사인 유사도 기반 다양성 손실(35.8 vs. 32.4 AP50)보다 우수한 성능을 보이며, 유용한 다양성을 촉진하는 데서의 우월성을 입증한다.
• 최적의 RPN 수는 데이터셋 분할에 따라 달라지며, 2~4개의 RPN에서 성능이 최고에 이르다가 거짓 양성 수 증가로 인해 감소한다.