[논문 리뷰] ImaginaryNet: Learning Object Detectors without Real Images and Annotations

Minheng Ni, Zitong Huang외 2명|arXiv (Cornell University)|2022. 10. 13.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 실재 이미지나 애너테이션 없이 합성된 이미지와 텍스트 기반 설명만을 사용하여 객체 검출기를 훈련시키는 ImaginaryNet이라는 프레임워크를 제안한다. 사전 훈련된 언어 모델과 텍스트 기반 이미지 생성 모델을 결합함으로써, 클래스 레이블이 포함된 다양한 사진처럼 생긴 이미지를 생성하여 약한 감독 기반 객체 검출을 가능하게 한다. 이 방법은 실재 데이터로 훈련된 약한 감독 기반 검출기 성능의 약 70%를 달성한다.

ABSTRACT

Without the demand of training in reality, humans can easily detect a known concept simply based on its language description. Empowering deep learning with this ability undoubtedly enables the neural network to handle complex vision tasks, e.g., object detection, without collecting and annotating real images. To this end, this paper introduces a novel challenging learning paradigm Imaginary-Supervised Object Detection (ISOD), where neither real images nor manual annotations are allowed for training object detectors. To resolve this challenge, we propose ImaginaryNet, a framework to synthesize images by combining pretrained language model and text-to-image synthesis model. Given a class label, the language model is used to generate a full description of a scene with a target object, and the text-to-image model deployed to generate a photo-realistic image. With the synthesized images and class labels, weakly supervised object detection can then be leveraged to accomplish ISOD. By gradually introducing real images and manual annotations, ImaginaryNet can collaborate with other supervision settings to further boost detection performance. Experiments show that ImaginaryNet can (i) obtain about 70% performance in ISOD compared with the weakly supervised counterpart of the same backbone trained on real data, (ii) significantly improve the baseline while achieving state-of-the-art or comparable performance by incorporating ImaginaryNet with other supervision settings.

연구 동기 및 목표

• 실재 이미지나 수동 애너테이션을 전혀 사용하지 않고 객체 검출기를 훈련시키는 새로운 훈련 철학, 즉 상상 속 감독 객체 검출(Imaginary-Supervised Object Detection, ISOD)을 개발하는 것.
• 실재 세계의 애너테이션 데이터가 높은 비용과 부족함을 겪는 객체 검출 문제를 해결하기 위해 사전 훈련된 시각-언어 모델을 활용해 합성 훈련 데이터를 생성하는 것.
• 언어 모델과 이미지 확산 모델를 사용해 텍스트 기반 설명에서 생성된 합성 이미지가 약한 감독 기반으로 객체 검출기를 효과적으로 훈련시킬 수 있음을 입증하는 것.
• 실재 데이터 및 다른 감독 설정과 결합했을 때 상상 속 데이터를 사용해 검출 성능을 향상시킬 수 있는 가능성을 탐색하는 것.
• ISOD에 대한 벤치마크를 수립하고 언어 모델링 및 데이터 증강 기법이 합성 데이터 성능에 미치는 영향을 평가하는 것.

제안 방법

• 목표 객체 클래스를 포함한 다양한 장면 기술을 제공하는 사전 훈련된 언어 모델을 활용해 세부적이고 다양한 장면 기술을 생성한다.
• 텍스트 기반 이미지 확산 모델을 사용해 언어 모델이 생성한 기술에서 사진처럼 생긴 이미지를 생성한다.
• 생성된 이미지와 관련된 클래스 레이블을 약한 감독 기반 훈련 데이터로 활용한다.
• 박스 수준의 애너테이션 없이 합성 데이터에서 약한 감독 기반 객체 검출(WSOD) 알고리즘을 사용해 객체 검출기를 훈련시킨다.
• 성능 향상을 위해 점차적으로 실재 이미지와 애너테이션을 통합함으로써, 기존 감독 설정과의 호환성을 입증한다.
• 훈련 및 추론 과정에서 데이터 증강 전략을 적용하여 ImaginaryNet이 표준 증강 기법과 상호 독립적임을 검증한다.

실험 결과

연구 질문

• RQ1 실재 이미지나 수동 애너테이션 없이 텍스트 기반 설명과 사전 훈련된 모델만을 사용해 객체 검출기를 효과적으로 훈련시킬 수 있는가?
• RQ2 실재 데이터의 이미지 수준 레이블을 사용해 훈련된 검출기와 비교했을 때, 합성 이미지에서 훈련된 검출기의 성능는 얼마나 효과적인가?
• RQ3 언어 모델이 합성 이미지의 다양성과 품질, 그리고 후속 검출기 성능에 얼마나 기여하는가?
• RQ4 실재 데이터에 대해 설계된 데이터 증강 전략이 합성 이미지에 대해 효과적으로 적용될 수 있는가?
• RQ5 ImaginaryNet은 실재 데이터 및 다른 감독 철학과 어떻게 조합되어 검출 정확도를 추가로 향상시킬 수 있는가?

주요 결과

• ImaginaryNet은 동일한 백본을 사용해 실재 데이터로 훈련된 약한 감독 기반 검출기의 평균 정밀도(mAP)의 약 70%를 달성한다.
• 언어 모델의 포함으로 검출 성능이 크게 향상되며, PASCAL VOC 2007에서 언어 모델 없이 훈련했을 경우 mAP 31.02에서 언어 모델을 사용했을 경우 33.23으로 상승한다.
• 훈련 및 추론 단계에서의 데이터 증강 전략은 상상 속 데이터에서 성능을 향상시키며, 둘 다 적용했을 때 mAP가 79.92에서 82.70으로 상승함으로써 표준 증강 기법과의 상호 독립성을 입증한다.
• 오직 2,000장의 상상 속 샘플만으로도 ImaginaryNet은 mAP 29.33를 달성하여 저자료 환경에서도 합성 데이터의 효과성을 입증한다.
• 이 프레임워크는 실재 데이터 감독과 강한 호환성을 보이며, 실재 이미지와 애너테이션과 조합했을 때 기준 성능을 크게 향상시켜 최신 기술 수준 또는 경쟁 가능한 성능을 달성한다.
• 클래스 간 성능 변동은 일관되고 검출기 우호적인 이미지를 생성하는 데 어려움을 보이며, 특히 언어 모델이 현실적인 장면 기술을 생성하지 못할 경우에 더 두드러진다.