[논문 리뷰] Internet Explorer: Targeted Representation Learning on the Open Web

Alexander C. Li, Ellis V. Brown외 2명|arXiv (Cornell University)|2023. 02. 27.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

Internet Explorer는 타겟 시각 작업을 위한 관련 훈련 데이터를 반복적으로 수집하기 위해 텍스트 기반 검색을 사용해 열린 웹을 동적으로 쿼리하는 자기지도적, 능동 학습 프레임워크를 제안한다. 쿼리, 자기지도 학습, 쿼리 개선을 반복함으로써 단일 GPU와 30–40시간의 검색만으로 CLIP 오라클 모델에 맞추거나 그 이상의 성능을 달성하며, 이미지 기반 검색 및 무작위 웹 검색 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Modern vision models typically rely on fine-tuning general-purpose models pre-trained on large, static datasets. These general-purpose models only capture the knowledge within their pre-training datasets, which are tiny, out-of-date snapshots of the Internet -- where billions of images are uploaded each day. We suggest an alternate approach: rather than hoping our static datasets transfer to our desired tasks after large-scale pre-training, we propose dynamically utilizing the Internet to quickly train a small-scale model that does extremely well on the task at hand. Our approach, called Internet Explorer, explores the web in a self-supervised manner to progressively find relevant examples that improve performance on a desired target dataset. It cycles between searching for images on the Internet with text queries, self-supervised training on downloaded images, determining which images were useful, and prioritizing what to search for next. We evaluate Internet Explorer across several datasets and show that it outperforms or matches CLIP oracle performance by using just a single GPU desktop to actively query the Internet for 30--40 hours. Results, visualizations, and videos at https://internet-explorer-ssl.github.io/

연구 동기 및 목표

• 정적이고 사전 훈련된 시각 모델의 한계를 해결하기 위해, 시대에 뒤떨어지고 동적인 실세계 시각 개념을 포착하지 못하는 문제를 해결한다.
• 대규모 사전 훈련의 비효율성을 극복하기 위해, 열린 웹을 능동적이고 자기지도적으로 탐색함으로써 경량의 작업 특화 모델을 구축한다.
• 라벨이 없는 데이터나 정적 데이터셋에 의존하지 않고도, 새로운 또는 세밀한 분류 작업에 대해 효율적이고 저자원으로 시각 모델을 적응시킬 수 있도록 한다.
• 타겟된 반복적 웹 쿼리가 수동적 데이터 수집이나 이미지 기반 검색보다 더 나은 표현 학습을 이끌 수 있음을 보여준다.

제안 방법

• 시스템은 온라인 에이전트로 작동하며, 텍스트 쿼리 작성, 검색 엔진에서 이미지 검색, 수집된 데이터 기반 자기지도 학습을 번갈아 수행한다.
• 다운로드된 이미지 기반으로 대조적 자기지도 학습 목표(예: MoCo-v3)를 사용하여 특징 품질을 시간이 지남에 따라 향상시킨다.
• 수집된 이미지의 관련성은 타겟 데이터셋과의 특징 정렬을 통해 평가되며, 이는 향후 쿼리 우선순위 결정에 활용된다.
• 에이전트는 사전 훈련된 모델(예: MoCo-v3)에서 출발하여, 최종 성능 향상에 기여하는 이미지가 가장 많은 쿼리 기반으로 점차적으로 검색 쿼리를 개선한다.
• 인터넷을 동적이고 개방적인 데이터셋으로 간주함으로써 수동 코딩이나 레이블링 없이도 훈련 데이터를 지속적으로 확장할 수 있다.
• 이 방법은 어떤 텍스트 기반 검색 엔진과도 호환되며, 이미지 간 유사도나 유료 API를 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 최소한의 컴퓨팅 자원으로도 정적 사전 훈련보다 능동적이고 자기지도적인 웹 탐색이 하류 시각 작업에서 더 나은 성능을 낼 수 있는가?
• RQ2 이미지 기반 검색(예: CLIP 특징 사용)과 비교했을 때, 타겟된 텍스트 기반 웹 쿼리의 특징 품질과 일반화 능력은 어떻게 다른가?
• RQ3 반복적인 웹 탐색을 통해 훈련된 소규모 모델이 CLIP과 같은 대규모 사전 훈련 오라클 모델의 성능을 따라하거나 뛰어넘을 수 있는가?
• RQ4 이미지 유사도 검색 대비 텍스트를 쿼리 버퍼로 사용할 경우, 다양성과 일반화에 얼마나 기여하는가?
• RQ5 모델 성능에 기반한 지속적인 쿼리 개선 전략이 고정 또는 무작위 검색 전략보다 더 효과적인 데이터 수집을 이끌 수 있는가?

주요 결과

• Internet Explorer는 PASCAL VOC와 ImageNet-100과 같은 세분화 및 벤치마크 데이터셋을 포함한 7개의 다양한 데이터셋에서 CLIP 오라클 성능을 초월하거나 동등하게 유지한다.
• Flowers, Pets, VOC2007 데이터셋에서 Internet Explorer는 각각 98.8%, 87.0%, 76.1%의 k-NN 정확도를 기록했으며, 동일한 데이터와 하이퍼파라미터를 사용한 이미지 간 유사도 기반 베이스라인을 뛰어넘었다.
• 이미지 간 유사도 기반 베이스라인은 강력한 CLIP ViT-L/14 특징을 사용하고 100만 장의 이미지를 다운로드했음에도 불구하고, 데이터 중복과 다양성 부족으로 인해 Internet Explorer보다 열악한 특징을 학습했다.
• Internet Explorer는 30–40시간 동안 단일 3090 GPU를 사용해 10,000개 이상의 점진적으로 향상된 쿼리를 수행하고, 100만 장 이상의 관련 이미지를 다운로드했다.
• 이 방법은 무작위 웹 검색 및 고정 쿼리 접근 방식보다 뚜렷하게 우수한 성능을 보이며, 피드백 기반의 타겟된 탐색의 가치를 입증한다.
• MoCo-v3에서 출발하고 수집된 이미지 기반 자기지도 학습을 수행함으로써 타겟 데이터셋에서 성능 향상이 크게 향상되었으며, 이는 반복적 개선 루프의 타당성을 검증한다.