[논문 리뷰] Learning Open-World Object Proposals without Learning to Classify

Dahun Kim, Tsung-Yi Lin외 3명|arXiv (Cornell University)|2021. 08. 15.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 분류 기반 없이 객체 위치 정보(예: 중심도, IoU, 회귀 정확도)에만 기반해 객체 존재도를 학습하는 분류 기반 객체 제안 방법인 객체 위치 네트워크(Object Localization Network, OLN)를 제안한다. 카테고리에 특화된 과적합을 방지함으로써, COCO, RoboNet, Objects365, EpicKitchens에서 교차 카테고리 및 교차 데이터셋 일반화 성능에서 최신 기준을 달성하며, LVIS에서 희귀 카테고리의 장기 꼬리 검출 성능을 +3.4 AP 향상시킨다.

ABSTRACT

Object proposals have become an integral preprocessing steps of many vision pipelines including object detection, weakly supervised detection, object discovery, tracking, etc. Compared to the learning-free methods, learning-based proposals have become popular recently due to the growing interest in object detection. The common paradigm is to learn object proposals from data labeled with a set of object regions and their corresponding categories. However, this approach often struggles with novel objects in the open world that are absent in the training set. In this paper, we identify that the problem is that the binary classifiers in existing proposal methods tend to overfit to the training categories. Therefore, we propose a classification-free Object Localization Network (OLN) which estimates the objectness of each region purely by how well the location and shape of a region overlap with any ground-truth object (e.g., centerness and IoU). This simple strategy learns generalizable objectness and outperforms existing proposals on cross-category generalization on COCO, as well as cross-dataset evaluation on RoboNet, Object365, and EpicKitchens. Finally, we demonstrate the merit of OLN for long-tail object detection on large vocabulary dataset, LVIS, where we notice clear improvement in rare and common categories.

연구 동기 및 목표

• 기존의 학습 기반 객체 제안 방법이 학습 카테고리에 과적합되어 새로운 객체에서 실패하는 한계를 해결하기 위해.
• 분류 기반 학습 없이 객체 존재도를 학습하는 것이 새로운 카테고리와 다양한 데이터셋으로의 일반화 성능 향상에 기여하는지 조사하기 위해.
• 카테고리에 특화된 분류가 아닌 위치 정확도에 초점을 맞춰 효과적인 오픈 월드 객체 제안을 가능하게 하기 위해.
• OLN가 LVIS와 같은 대규모 어휘 데이터셋에서 장기 꼬리 검출에 미치는 영향을 평가하기 위해.
• 교차 데이터셋 및 교차 카테고리 설정에서 분류 기반 신호보다 위치 기반 신호가 더 우수한 성능을 내는지 입증하기 위해.

제안 방법

• 표준 RPN에서 이진 분류기 대신 각 영역에 대해 중심도, IoU, 회귀 정확도를 예측하는 위치 정확도 헤드를 OLN가 도입한다.
• 모델은 카테고리 레이블 없이 진짜 바운딩 박스와 그들의 공간 겹침 지표만을 사용해 훈련된다.
• 객체 존재도 점수는 중심도, IoU, 회귀 정확도의 학습된 조합으로 계산되며, 이는 새로운 객체 형태와 카테고리로의 일반화를 가능하게 한다.
• 표준 RPN 방식의 영역 생성을 유지하지만, 분류 헤드를 위치 전용 헤드로 대체함으로써 카테고리 편향을 방지한다.
• OLN는 Faster R-CNN 및 Mask R-CNN에서 RPN의 즉각적 교체로 평가되며, 기존 검출 파ip라인과 호환성을 유지한다.
• 표준 검출 손실 구성 요소를 사용해 엔드 투 엔드로 훈련되지만, 제안 점수 계산에는 오직 위치 헤드만 사용된다.

실험 결과

연구 질문

• RQ1 학습 중에 볼 수 없었던 새로운 객체 카테고리에 대해 분류 기반 없는 객체 제안 네트워크가 더 나은 일반화 성능을 보일 수 있는가?
• RQ2 전경-배경 분류 대신 위치 정확도(예: 중심도, IoU)를 학습함으로써 교차 데이터셋 일반화 성능이 향상되는가?
• RQ3 장기 꼬리 검출 상황에서 위치 전용 접근 방식이 분류 기반 방법보다 어떻게 비교되는가?
• RQ4 EpicKitchens와 같은 이교적 영상 데이터셋에서, 새로운 객체나 어휘 외 객체가 흔한 환경에서 OLN이 효과적으로 객체를 검출할 수 있는가?
• RQ5 LVIS와 같은 대규모 어휘 데이터셋에서 분류기 헤드를 제거하면 희귀 카테고리에서 성능 향상이 이루어지는가?

주요 결과

• COCO의 교차 카테고리 일반화 벤치마크에서 OLN은 새로운 카테고리에서 +3.3 AUC, +5.0 AR@10, +5.1 AR@100의 성능 향상을 기록하며 최신 기준을 초월한다.
• RoboNet에서 OLN은 표준 RPN 기반 방법 대비 클래스 무관, 포괄적 객체 검출에서 AP를 13~16 포인트 향상시켰다.
• Objects365에서 OLN은 표준 방법 대비 +4 AR@10 및 +8 AR@100의 성능 향상을 기록하며 강력한 교차 데이터셋 일반화 능력을 입증했다.
• EpicKitchens에서의 이교적 영상 평가에서 OLN는 Mask R-CNN이 놓친 다양한 새로운 객체(예: 토스터, 전자레인지, tests)를 더 넓은 범위로 검출했다.
• LVIS에서 Faster R-CNN의 RPN으로 즉각 교체할 경우, OLN는 평균 AP를 +1.4 향상시켰으며, 희귀 카테고리에선 +3.4, 일반 카테고리에선 +1.8의 성능 향상을 기록했다.
• 제거 실험 결과, 전경-배경 분류기 제거가 일반화 성능 향상에 크게 기여하며, 위치 신호만으로도 뛰어난 성능을 달성할 수 있음을 확인했다.