[논문 리뷰] OvarNet: Towards Open-vocabulary Object Attribute Recognition

Keyan Chen, Xiaolong Jiang외 5명|arXiv (Cornell University)|2023. 01. 23.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

OvarNet는 CLIP 기반의 시각-언어 사전학습과 지식 정복을 통한 Faster R-CNN 기반 아키텍처를 활용하여 개방형 어휘 환경에서의 객체 검출 및 특성 인식을 위한 통합적이고 엔드 투 엔드 프레임워크를 제안한다. 검출과 특성 예측을 공동으로 훈련시킴으로써 VAW, MS-COCO, LSA 및 OVAD 벤치마크에서 최신 기술 수준의 성능을 달성하며, 새로운 카테고리와 특성에 대한 강력한 제로샷 일반화 성능을 보여준다.

ABSTRACT

In this paper, we consider the problem of simultaneously detecting objects and inferring their visual attributes in an image, even for those with no manual annotations provided at the training stage, resembling an open-vocabulary scenario. To achieve this goal, we make the following contributions: (i) we start with a naive two-stage approach for open-vocabulary object detection and attribute classification, termed CLIP-Attr. The candidate objects are first proposed with an offline RPN and later classified for semantic category and attributes; (ii) we combine all available datasets and train with a federated strategy to finetune the CLIP model, aligning the visual representation with attributes, additionally, we investigate the efficacy of leveraging freely available online image-caption pairs under weakly supervised learning; (iii) in pursuit of efficiency, we train a Faster-RCNN type model end-to-end with knowledge distillation, that performs class-agnostic object proposals and classification on semantic categories and attributes with classifiers generated from a text encoder; Finally, (iv) we conduct extensive experiments on VAW, MS-COCO, LSA, and OVAD datasets, and show that recognition of semantic category and attributes is complementary for visual scene understanding, i.e., jointly training object detection and attributes prediction largely outperform existing approaches that treat the two tasks independently, demonstrating strong generalization ability to novel attributes and categories.

연구 동기 및 목표

• 학습 중에 볼 수 없었던 새로운 카테고리와 특성을 포함한 개방형 어휘 환경에서 객체 검출과 시각적 특성 인식을 동시에 수행하는 문제를 해결하기 위해.
• CLIP 모델이 의미적 카테고리에 대한 편향을 가지는 문제를 해결하기 위해, 학습 가능한 프롬프트 벡터와 약한 지도 학습 데이터를 활용하여 시각-특성 특징 간의 정렬을 향상시키기 위해.
• 모든 특성에 대한 수동 애너테이션을 필요로 하지 않는 효율적인 엔드 투 엔드 검출 프레임워크를 개발하기 위해.
• 검출과 특성 인식의 공동 훈련이 새로운 특성과 카테고리에 대한 일반화 및 성능 향상에 기여함을 입증하기 위해.

제안 방법

• 두 단계 기반 베이스라인인 CLIP-Attr는 사전에 RPN을 통해 객체 제안을 생성한 후, 시각적 특징과 특성 및 카테고리의 텍스트 임베딩을 비교하여 이를 분류한다.
• 특성 개념을 시각적 특징과 더 잘 정렬하기 위해 텍스트 인코더 측면에 학습 가능한 프롬프트 벡터를 도입하여 제로샷 특성 인식 성능을 향상시킨다.
• 객체 검출 및 특성 예측 데이터셋을 융합하여 CLIP의 시각적 표현을 특성 의미론과 정렬하는 피델러티드 미세조정 전략을 도입한다.
• 사용 가능한 이미지-캡션 쌍을 자유롭게 활용하여 약한 지도 학습을 적용함으로써, 새로운 특성을 인식하는 데 있어 강건성을 향상시킨다.
• 지식 정복을 통해 Faster R-CNN 스타일의 모델(OvarNet)을 엔드 투 엔드로 훈련시켜, 클래스에 관계없이 제안을 생성하고 텍스트 인코더가 생성한 분류기로 공동 분류를 수행한다.
• 최종 OvarNet 모델은 검출과 특성 예측을 하나의 효율적인 아키텍처에 통합하며, CLIP-Attr와 외부 이미지-캡션 데이터로부터 정복된 지식을 사용해 훈련된다.

Figure 1 : The first row depicts the tasks of object detection and attribute classification in a close-set setting, i.e. , train and test on the same vocabulary set. The second row gives qualitative results from our proposed OvarNet, which simultaneously localizes, categorizes, and characterizes arb

실험 결과

연구 질문

• RQ1 검출과 특성 인식의 공동 훈련이 새로운 카테고리와 특성에 대한 제로샷 일반화 성능 향상에 기여하는가?
• RQ2 CLIP 기반 모델은 어떻게 의미적 카테고리에 대한 편향을 줄이고, 시각적 특성과의 정렬을 향상시킬 수 있는가?
• RQ3 약한 지도 학습 기반의 이미지-캡션 쌍은 개방형 어휘 환경에서 특성 인식의 강건성 향상에 얼마나 기여하는가?
• RQ4 두 단계의 CLIP-Attr 모델에서 Faster R-CNN 기반 아키텍처로의 엔드 투 엔드 지식 정복은 효율성과 성능 향상에 기여하는가?
• RQ5 제안된 OvarNet 프레임워크는 장시간 분포를 가진 특성 분포를 포함한 다양한 벤치마크에서 어떻게 일반화되는가?

주요 결과

• VAW 벤치마크에서 'given' 설정 하에서 OvarNet은 28.6 mAP를 기록하여 이전 최신 기술 수준 모델인 X-VLM(28.1)과 OVAD(21.4)를 크게 앞서며 뛰어난 성능을 보였다.
• OVAD 벤치마크에서 OvarNet은 모든 특성에 대해 35.5 mAP를 달성하여 CLIP-Attr(29.3)와 다른 베이스라인을 초월했으며, 꼬리 특성에 대해 9.5 mAP의 뚜렷한 향상을 보였다.
• OVAD에서의 교차 데이터셋 전이 평가에서 OvarNet은 'free' 설정 하에서 33.6 mAP를 기록하여 OV-Faster-RCNN(18.3)과 Detic(13.4)를 모두 압도했다.
• LSA 벤치마크에서 카테고리 사전 정보를 사용할 경우, OvarNet은 기본 특성에 대해 14.84 mAP, 신규 특성에 대해 8.05 mAP를 기록하여 동일 설정에서 OpenTAP(13.59 및 7.62)를 능가했다.
• 카테고리 사전 정보 없이도 OvarNet은 LSA 공통 특성에 대해 8.52 mAP, 희귀 특성에 대해 6.17 mAP를 기록하여 강력한 제로샷 일반화 성능을 입증했다.
• 제거 실험을 통해 CLIP-Attr에서 OvarNet으로의 지식 정복 훈련이 특히 희귀 및 새로운 특성에서 성능 향상에 기여함을 확인하였으며, 통합 훈련 파라다임의 효과성을 입증했다.

Figure 2 : An overview of the proposed method. Left: the two-step training procedure for finetuning the pre-trained CLIP to get CLIP-Attr that better aligns the regional visual feature to attributes. Step-I: naïve federate training by base attribute annotations. Step-II: training by image-caption pa