[논문 리뷰] Exploring Effective Factors for Improving Visual In-Context Learning

Yanpeng Sun, Qiang Chen외 4명|arXiv (Cornell University)|2023. 04. 10.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 픽셀 수준의 프롬프트 선택과 앙상블 기반 프롬프트 융합을 통해 성능을 향상시키는 새로운 프레임워크인 prompt-SelF를 제안한다. 공간적으로 유사한 고품질 프롬프트를 선택하고 다양한 융합 전략을 기반으로 예측을 융합함으로써, prompt-SelF는 시각적 인코어지드 러닝에서 최신 기술 수준의 성능을 달성하며, 처음으로 OSLSM 기반 메타러닝보다 1샷 세그멘테이션에서 뛰어난 성능을 보였다.

ABSTRACT

The In-Context Learning (ICL) is to understand a new task via a few demonstrations (aka. prompt) and predict new inputs without tuning the models. While it has been widely studied in NLP, it is still a relatively new area of research in computer vision. To reveal the factors influencing the performance of visual in-context learning, this paper shows that prompt selection and prompt fusion are two major factors that have a direct impact on the inference performance of visual context learning. Prompt selection is the process of identifying the most appropriate prompt or example to help the model understand new tasks. This is important because providing the model with relevant prompts can help it learn more effectively and efficiently. Prompt fusion involves combining knowledge from different positions within the large-scale visual model. By doing this, the model can leverage the diverse knowledge stored in different parts of the model to improve its performance on new tasks. Based these findings, we propose a simple framework prompt-SelF for visual in-context learning. Specifically, we first use the pixel-level retrieval method to select a suitable prompt, and then use different prompt fusion methods to activate all the knowledge stored in the large-scale model, and finally ensemble the prediction results obtained from different prompt fusion methods to obtain the final prediction results. And we conduct extensive experiments on single-object segmentation and detection tasks to demonstrate the effectiveness of prompt-SelF. Remarkably, the prompt-SelF has outperformed OSLSM based meta-learning in 1-shot segmentation for the first time. This indicated the great potential of visual in-context learning. The source code and models will be available at https://github.com/syp2ysy/prompt-SelF.

연구 동기 및 목표

• 시각적 인코어지드 러닝의 성능에 영향을 미치는 핵심 요인을 규명하고 분석하는 것.
• 프롬프트 선택 품질과 프롬프트 융합 전략이 최종 작업 정확도에 미치는 영향을 조사하는 것.
• 프롬프트 선택과 융합을 최적화하여 시각 작업에서 성능을 극대화하는 프레임워크를 개발하는 것.
• 프롬프트 선택 및 융합 전략을 강화하여 도메인 이동에 대한 강건성을 향상시키는 것.
• prompt-SelF가 희소한 시각 세그멘테이션에서 메타러닝 기반 모델을 능가할 수 있음을 입증하는 것.

제안 방법

• 질의 이미지와 공간적으로 유사한 고품질 프롬프트를 선택하기 위해 픽셀 수준의 검색을 사용한다.
• 질의 이미지와 프롬프트 이미지를 하나의 입력으로 통합하기 위해 다양한 프롬프트 융합 방법을 적용하며, 8종의 서로 다른 부분 이미지 배치 방식을 사용한다.
• 다양한 융합 방법의 예측을 조합하기 위해 4/8 기반 다수결정 기반 앙상블 전략을 적용한다.
• 저품질 프롬프트의 악영향을 줄이기 위해 임계값 기반 앙상블 메커니즘을 도입한다.
• 다양한 융합 패턴을 통해 다양한 레이어에서 지식을 활성화하기 위해 사전 학습된 대규모 시각 모델을 활용한다.
• 다양한 프롬프트 선택 및 융합 전략를 사용하여 단일 객체 세그멘테이션 및 검출 벤치마크에서 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 프롬프트 선택 품질은 시각적 인코어지드 러닝의 성능에 어떤 영향을 미치는가?
• RQ2 다양한 프롬프트 융합 배치 방식은 모델 예측 정확도에 어떤 영향을 미치는가?
• RQ3 다양한 융합 전략에서의 앙상블 예측은 강건성과 성능을 향상시키는가?
• RQ4 prompt-SelF는 희소 세그멘테이션에서 메타러닝 기반 모델과 비교해 어떻게 성능을 내는가?
• RQ5 픽셀 수준의 검색은 시각적 인코어지드 러닝에서 도메인 이동을 얼마나 효과적으로 완화할 수 있는가?

주요 결과

• 프롬프트 선택은 성능에 큰 영향을 미치며, 공간적으로 유사한 프롬프트는 더 높은 IoU 점수를 제공한다.
• 다양한 프롬프트 융합 방법은 대규모 모델 내에서 서로 다른 지식 표현을 활성화하여 예측 결과에 차이를 만든다.
• 4/8 기반 임계값을 사용한 앙상블 전략이 세그멘테이션 작업에서 최적의 성능을 달성한다.
• prompt-SelF는 OSLSM 기반 메타러닝보다 1샷 세그멘테이션에서 뛰어난 성능을 보이며, 처음으로 이러한 결과를 달성했다.
• 픽셀 수준의 검색은 이미지 수준의 검색보다 도메인 이동에 더 강건하며, 특히 프롬프트와 질의 데이터셋이 다를 경우에 두드러진다.
• 앙상블 융합을 통해 프롬프트 수를 늘임으로써 해상도를 유지한 채 성능 향상을 이룰 수 있다. 이는 이전의 격자 기반 방법과는 달리, 해상도를 저하시키지 않는다.