[논문 리뷰] Generalization Properties of Retrieval-based Models

Soumya Basu, Ankit Singh Rawat외 1명|arXiv (Cornell University)|2022. 10. 06.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 분류 작업에서 검색 기반 모델의 이론적 분석을 제공하며, 각 입력에 대해 검색된 훈련 예제를 사용해 단순하고 저복잡도의 모델을 훈련하는 국소적 경험 위험 최소화(local ERM) 프레임워크를 제안한다. 국소적 규칙성 가정 하에 이러한 모델는 최소한의 파rametric 용량으로도 강력한 일반화 성능을 달성하며, 소형 MobileNet-V3를 사용해 ImageNet에서 표준 모델을 능가하고, 단지 4.01M 파라미터로도 경쟁 가능한 정확도를 확보한다.

ABSTRACT

Many modern high-performing machine learning models such as GPT-3 primarily rely on scaling up models, e.g., transformer networks. Simultaneously, a parallel line of work aims to improve the model performance by augmenting an input instance with other (labeled) instances during inference. Examples of such augmentations include task-specific prompts and similar examples retrieved from the training data by a nonparametric component. Remarkably, retrieval-based methods have enjoyed success on a wide range of problems, ranging from standard natural language processing and vision tasks to protein folding, as demonstrated by many recent efforts, including WebGPT and AlphaFold. Despite growing literature showcasing the promise of these models, the theoretical underpinning for such models remains underexplored. In this paper, we present a formal treatment of retrieval-based models to characterize their generalization ability. In particular, we focus on two classes of retrieval-based classification approaches: First, we analyze a local learning framework that employs an explicit local empirical risk minimization based on retrieved examples for each input instance. Interestingly, we show that breaking down the underlying learning task into local sub-tasks enables the model to employ a low complexity parametric component to ensure good overall accuracy. The second class of retrieval-based approaches we explore learns a global model using kernel methods to directly map an input instance and retrieved examples to a prediction, without explicitly solving a local learning task.

연구 동기 및 목표

• 검색 기반 모델의 이론적 기반을 이해하기 위해, 파arametric 및 비파arametric 학습을 통합하지만 공식적인 분석이 부족한 모델에 대해.
• 유사한 훈련 예제를 검색함으로써 분류 작업에서 일반화 성능이 향상되는 방식을 조사하기 위해.
• 국소적 학습이 검색된 예제를 통해 강력한 성능을 내는 조건을 체계화하기 위해.
• CIFAR-10 및 ImageNet을 포함한 다양한 데이터셋에서 국소적 ERM를 전역 모델 및 kNN 기반 모델과 비교하기 위해.

제안 방법

• 국소적 ERM 프레임워크를 제안: 각 테스트 입력에 대해 근접한 훈련 예제를 검색하고, 해당 예제들만을 사용해 국소적 모델을 훈련한다.
• 국소적 규칙성 가정 하에, 모델 복잡도와 이웃 크기 간의 균형을 고려한 유한 샘플 일반화 경계를 유도한다.
• 커널 방법 및 파arametric 모델(선형, MLP, 다항식, RBF)을 검색된 집합에 적용해 국소 예측자로 사용한다.
• 입력 공간 또는 임베딩 공간에서 L2 거리를 사용해 검색하며, 고차원 데이터에 대해 비지도 특징(예: ALIGN)을 활용한다.
• 대규모 환경에서 국소적 ERM를 구현하기 위해 소형 모델(예: MobileNet-V3)을 Adam 옵timizer로 미세조정한다.
• ImageNet, CIFAR-10 및 시뮬레이션 데이터에서 표준 ERM, kNN 및 최첨단 모델과의 성능를 비교한다.

실험 결과

연구 질문

• RQ1 검색된 이웃의 크기가 국소적 ERM 모델의 일반화 성능에 어떤 영향을 미치는가?
• RQ2 검색을 통한 국소적 학습이 전역 파arametric 학습을 능가하는 조건은 무엇인가?
• RQ3 검색된 예제들만으로도 저복잡도 파arametric 모델이 높은 정확도를 달성할 수 있는가?
• RQ4 전역 표현(예: ALIGN)이 국소적 ERM 성능 향상에 어떤 역할을 하는가?
• RQ5 검색 기반 학습에서 근사 오차와 일반화 오차 간의 트레이드오프는 어떻게 나타나는가?

주요 결과

• ImageNet에서 소형 MobileNet-V3 모델(4.01M 파라미터)이 국소적 ERM로 훈련된 결과, 전역적으로 훈련된 동일한 모델(65.80% top-1 정확도)보다 뚜렷이 높은 82.78% top-1 정확도를 기록했다.
• 국소적 ERM 접근법은 모델 크기와 계산 비용을 크게 줄였음에도 불구하고, SoTA ViT-G/14 모델(90.45% top-1 정확도)과 경쟁 가능한 성능(82.78%)을 달성했다.
• CIFAR-10에서 성능은 중간 크기의 이웃에서 최고를 기록했으며, 이는 일반화 오차(작은 집합)와 근사 오차(큰 집합) 사이의 트레이드오프를 확인한다.
• 전역 표현(예: ALIGN 임베딩)을 사용함으로써, 원시 이미지 입력에 직접 훈련된 더 복잡한 MobileNet-V3 모델보다 단순한 선형 모델이 뛰어난 성능을 보였다.
• 유한 샘플 일반화 경계는 국소적 규칙성이 작고 대표적인 이웃이면, 저복잡도 모델이 잘 일반화됨을 보여준다.
• 결과는 검색 기반 모델이 최소한의 파arametric 용량으로도 암묵적인 국소적 학습을 수행함으로써 높은 성능을 달성할 수 있음을 검증한다.