[논문 리뷰] LMC: Large Model Collaboration with Cross-assessment for Training-Free Open-Set Object Recognition

Haoxuan Qu, Xiaofei Hui외 2명|arXiv (Cornell University)|2023. 09. 22.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 훈련이 불필요한 개방집합 객체 인식을 위한 LMC를 제안한다. 이는 사전 학습된 대규모 모델 간의 협업적 추론을 활용하여 유사한 특징에 의존하는 것을 줄인다. CLIP과 ChatGPT 간 상호 피드백을 통해 이미지 설명을 반복적으로 개선하는 순환 상호평가 모듈을 도입함으로써, 재훈련 없이도 다양한 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Open-set object recognition aims to identify if an object is from a class that has been encountered during training or not. To perform open-set object recognition accurately, a key challenge is how to reduce the reliance on spurious-discriminative features. In this paper, motivated by that different large models pre-trained through different paradigms can possess very rich while distinct implicit knowledge, we propose a novel framework named Large Model Collaboration (LMC) to tackle the above challenge via collaborating different off-the-shelf large models in a training-free manner. Moreover, we also incorporate the proposed framework with several novel designs to effectively extract implicit knowledge from large models. Extensive experiments demonstrate the efficacy of our proposed framework. Code is available https://github.com/Harryqu123/LMC

연구 동기 및 목표

• 객체 인식에서 닫힘집합과 개방집합 클래스를 혼동하게 하는 유사한 특징에 의존하는 문제를 해결하기 위해.
• 추가 데이터나 미세조정 없이 다양한 대규모 모델의 암묵적 지식을 활용하는 훈련이 없는 프레임워크를 개발하기 위해.
• 가상의 개방집합 클래스를 시뮬레이션하여 모델이 유사한 특징에 과적합하는 것을 방지함으로써 개방집합 인식의 강건성을 향상시키기 위해.
• 새로운 상호평가 및 개선 메커니즘을 통해 대규모 모델의 암묵적 지식을 효과적으로 추출하기 위해.

제안 방법

• LMC는 CLIP과 ChatGPT와 같은 사전 학습된 대규모 모델들을 이미지-텍스트 표현을 교환함으로써 협업하여 특징 이해를 향상시킨다.
• 순환 상호평가 모듈은 번갈아가며 이미지 설명을 개선한다: CLIP이 이미지 특징을 생성하고, 이를 바탕으로 텍스트 프롬프트를 향상시키며, 개선된 프롬프트를 다시 사용해 더 나은 이미지 표현을 생성한다.
• 가상의 개방집합 클래스는 텍스트에서 이미지 생성 파이프라인을 사용하여 시뮬레이션되며, 모델이 알려진 클래스를 초월해 일반화하도록 이끈다.
• 이중 브랜치 아키텍처를 사용하여 CLIP은 시각적 정렬을 제공하고 ChatGPT는 의미적 기반을 제공하며, 반복적인 피드백을 통해 양 모odal을 개선한다.
• 상호평가 과정 중에 대비 손실을 적용하여 생성된 이미지-텍스트 쌍을 원하는 클래스 의미와 일치시킨다.
• 이 방법은 훈련 전용 모드로 작동하며, 배포 후 재훈련이나 훈련 데이터 접근이 필요하지 않다.

실험 결과

연구 질문

• RQ1 다른 사전 학습 파라디그마를 가진 대규모 모델들이 미세조정 없이 협업하여 개방집합 객체 인식을 향상시킬 수 있는가?
• RQ2 대규모 모델의 암묵적 지식을 효과적으로 추출하고 개방집합 인식에 활용할 수 있는가?
• RQ3 가상의 개방집합 클래스가 개방집합 인식에서 유사한 특징에 대한 의존도를 어느 정도 줄일 수 있는가?
• RQ4 순환 상호평가 메커니즘이 더 나은 개방집합 일반화를 위해 이미지-텍스트 표현의 품질을 향상시키는가?
• RQ5 가상의 개방집합 클래스가 실제 평가 개방집합 클래스와 겹치지 않더라도 프레임워크가 높은 성능을 유지할 수 있는가?

주요 결과

• LMC는 TinyImageNet에서 AUROC 93.1을 기록하여 소프트맥스 기반 베이스라인(83.5)과 다른 변종들보다 뚜렷이 뛰어난 성능을 보였다.
• 시뮬레이션된 가상의 개방집합 집합에 포함되지 않은 개방집합 클래스(서브셋 B)에서도 LMC는 AUROC 86.5를 달성하여 단순한 클래스 매칭을 넘는 강건성을 입증했다.
• 순환 상호평가 모듈은 유사한 특징에 대한 의존도를 줄임을 보여주었으며, '뿔이 있는' 또는 '부리가 있는' 이미지가 올바르게 개방집합으로 분류되는 질적 결과를 통해 이를 입증했다.
• 네 가지 평가 프로토콜 전반에서 프레임워크는 강력한 성능을 유지하여 일반화 능력을 확인했다.
• 시각화 결과는 상호평가 모듈이 생성된 이미지의 품질을 크게 향상시켜 목표 클래스를 더 잘 대표하게 되었음을 보여주었다.
• 시뮬레이션된 가상의 개방집합 클래스와 실제 평가 개방집합 클래스 간 겹침 비율이 최소 3.4% 이하일 때조차도 메서드가 효과를 유지함으로써, 직접적인 매칭에 의존하지 않는다는 점을 입증했다.