[논문 리뷰] Points as Queries: Weakly Semi-supervised Object Detection by Points

Liangyu Chen, Tong Yang외 3명|arXiv (Cornell University)|2021. 04. 15.

Advanced Neural Network Applications참고 문헌 32인용 수 5

한 줄 요약

이 논문은 레이블링 비용을 줄이면서도 검출 성능을 향상시키기 위해 점(annotation)을 사용하는 새로운 약한 준지도 학습 객체 검출 설정을 제안한다. Point DETR라는 DETR 기반 검출기 도입으로, 점의 위치와 카테고리를 점 인코더를 통해 객체 쿼리로 인코딩하여 정밀한 일대일 박스 예측과 상대적 회귀를 가능하게 한다. 전체로 20%의 레이블이 부여된 COCO 데이터에서 33.3 AP를 달성하며, FCOS보다 2.0 AP 높고 AR 지표에서 10점 이상 향상됨.

ABSTRACT

We propose a novel point annotated setting for the weakly semi-supervised object detection task, in which the dataset comprises small fully annotated images and large weakly annotated images by points. It achieves a balance between tremendous annotation burden and detection performance. Based on this setting, we analyze existing detectors and find that these detectors have difficulty in fully exploiting the power of the annotated points. To solve this, we introduce a new detector, Point DETR, which extends DETR by adding a point encoder. Extensive experiments conducted on MS-COCO dataset in various data settings show the effectiveness of our method. In particular, when using 20% fully labeled data from COCO, our detector achieves a promising performance, 33.3 AP, which outperforms a strong baseline (FCOS) by 2.0 AP, and we demonstrate the point annotations bring over 10 points in various AR metrics.

연구 동기 및 목표

• 점 수준의 레이블을 도입함으로써 객체 검출의 레이블링 비용을 줄이면서도 높은 성능를 유지하고자 하는 것.
• 기존 검출기가 다중 수준 특징 맵 선택 또는 엄격한 점 요구 조건으로 인해 점 레이블을 효과적으로 활용하지 못하는 한계를 해결하고자 하는 것.
• 점 인코더를 활용해 점과 객체 쿼리 간의 일대일 대응을 수립하는 단순하면서도 효과적인 검출기인 Point DETR를 제안하고자 하는 것.
• 점 레이블이 저자원 레이블링 환경에서 특히 검출 재현율과 일반화 능력을 크게 향상시킨다는 것을 입증하고자 하는 것.

제안 방법

• 작은 전체 레이블이 부여된 이미지와 큰 이미지에 흩어진 점 레이블이 부여된 이미지를 조합하여 비용과 성능를 균형 잡은 새로운 약한 준지도 학습 객체 검출 설정을 제안함.
• 점 좌표와 카테고리를 객체 쿼리로 변환하기 위해 점 인코더를 추가한 수정된 DETR 아키텍처인 Point DETR을 도입함.
• 박스를 점 위치에서의 상대적 오프셋으로 예측함으로써 정위치 정확도를 향상시키고 오분류 오류를 줄임.
• 다중 수준 특징 맵 선택의 복잡성을 피하기 위해 단일 수준의 특징 맵을 사용함으로써 학습을 단순화하고 강건성을 향상시킴.
• DETR 트랜스포머 디코더를 점 인코딩 쿼리에 주의하도록 수정하여 일대일 예측을 가능하게 하는 엔드 투 엔드 검출을 실현함.
• 약한 레이블이 부여된 이미지에 대해 편재 레이블링 프레임워크를 적용하고, 점 레이블을 기반으로 가짜 박스 생성을 유도함.

실험 결과

연구 질문

• RQ1 점 레이블이 최소한의 레이블링 비용으로도 약한 준지도 학습 객체 검출에 충분한 인스턴스 수준의 지도를 제공할 수 있는가?
• RQ2 기존 검출기가 다중 수준 특징 기반 아키텍처에서 왜 점 레이블을 효과적으로 활용하지 못하는가?
• RQ3 DETR와 같은 단일 단계, 쿼리 기반 검출기가 점 레이블을 효과적으로 활용하여 정밀한 정위치를 달성할 수 있는가?
• RQ4 점 위치에서의 상대적 회귀는 절대적 회귀에 비해 정위치 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ5 점 레이블이 저자원 레이블링 환경에서 검출 재현율과 일반화 능력을 어느 정도 향상시키는가?

주요 결과

• 전체 COCO 데이터의 20%만 레이블이 부여된 상태에서 Point DETR는 33.3 AP를 달성하며, FCOS보다 2.0 AP 높고 Faster R-CNN보다 1.9 AP 높음.
• 모든 카테고리(AR s, AR m, AR l, AR 100)에서 AR 지표가 10점 이상 향상되어 강력한 재현율 향상을 보임.
• mAP에서는 DETR와 유사한 성능(26.8 vs. 26.9)을 보였지만, 재현율 측면에선 훨씬 뛰어나 객체 커버리지가 더 우수함.
• 점의 위치에 관계없이 성능가 안정적—점이 객체 중심에 있든 객체의 임의의 위치에 있든 성능 유지됨.
• 점이 해당 박스 내부에 있음을 고려한 상대적 회귀는 절대적 회귀보다 정위치 오차를 줄여줌.
• 점 레이블은 기존 DETR의 편재 레이블링에서 흔히 발생하는 참값 누락 오류를 완화시키며, 오직 약간의 중복 검출 오류만 유발함.