[논문 리뷰] Automatic Combination of Sample Selection Strategies for Few-Shot Learning

Branislav Pecher, Ivan Srba외 2명|TU/e Research Portal|2024. 02. 05.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 소수 샘플 학습에서 여러 샘플 선택 전략을 자동으로 조합하여 보완적인 강점을 활용함으로써 성능을 햖저하는 ACSESS를 제안한다. 인라인 컨텍스트 학습에서 기존의 개별 전략 및 LENS와 같은 이전 방법보다 최대 5%p 향상되며, 저샷 설정에서 뚜렷한 성과 향상을 보이며, 높은 샷 수에서는 점차 수익 감소 현상이 나타난다.

ABSTRACT

In few-shot learning, such as meta-learning, few-shot fine-tuning or in-context learning, the limited number of samples used to train a model have a significant impact on the overall success. Although a large number of sample selection strategies exist, their impact on the performance of few-shot learning is not extensively known, as most of them have been so far evaluated in typical supervised settings only. In this paper, we thoroughly investigate the impact of 20 sample selection strategies on the performance of 5 few-shot learning approaches over 8 image and 6 text datasets. In addition, we propose a new method for automatic combination of sample selection strategies (ACSESS) that leverages the strengths and complementary information of the individual strategies. The experimental results show that our method consistently outperforms the individual selection strategies, as well as the recently proposed method for selecting support examples for in-context learning. We also show a strong modality, dataset and approach dependence for the majority of strategies as well as their dependence on the number of shots - demonstrating that the sample selection strategies play a significant role for lower number of shots, but regresses to random selection at higher number of shots.

연구 동기 및 목표

• 이미지 및 텍스트 데이터셋에서 20종의 다양한 샘플 선택 전략이 소수 샘플 학습에 미치는 영향을 조사하기 위해.
• 기울기 기반 소수 샘플 학습(예: 메타학습, 미세조정) 및 인라인 컨텍스트 학습에서 샘플 선택의 체계적 평가 부족 문제를 해결하기 위해.
• 다양한 전략의 보완적 강점을 활용하여 소수 샘플 학습 성능을 향상시키는 자동 조합 방법을 개발하기 위해.
• 샘플 선택 전략의 모odal, 데이터셋, 샷 수 의존성 분석하기 위해.
• 샘플 선택이 고샷 수로 인해 더 이상 기여하지 않는 성능 포화점 도달 시점을 규명하기 위해.

제안 방법

• ACSESS는 소수 샘플 학습 성능 향상에 기여할 잠재적 기여도가 높은 전략들을 기반으로 관련 전략의 부분집합을 식별한다.
• 선택된 전략들을 가중치 투표 방식으로 조합하며, 각 전략의 예상 이점에 따라 가중치를 학습하거나 추정한다.
• 최종 선택 전에 검증 세트에서 전략의 성능 향상 예측치를 평가하여 기대 성능 향상도를 추정한다.
• 균일한 가중치와 적응형 가중치 방식을 모두 지원하며, 후자는 작업 특성에 따라 전략의 중요도를 동적으로 조정한다.
• 프레임워크는 프로토넷, MAML, 미세조정, 그리고 두 개의 대규모 언어 모델(Mistral, Zephyr)을 활용한 인라인 컨텍스트 학습을 포함한 다섯 가지 소수 샘플 학습 접근법에 적용된다.
• 8개의 이미지 데이터셋과 6개의 텍스트 데이터셋에서 평가되며, 결과는 여러 랜덤 시드를 기반으로 집계되어 신뢰성 확보된다.

실험 결과

연구 질문

• RQ1 20종의 다른 샘플 선택 전략이 14개의 다양한 데이터셋에서 다섯 가지 소수 샘플 학습 접근법에 어떤 영향을 미치는가?
• RQ2 다양한 샘플 선택 전략을 조합함으로써 개별 전략 대비 소수 샘플 학습 성능 향상 정도는 어느 정도인가?
• RQ3 샘플 선택 전략의 성능는 다양한 모달리티(이미지 대비 텍스트), 데이터셋, 소수 샘플 학습 접근법 간에 어떻게 달라지는가?
• RQ4 샷 수가 샘플 선택 전략의 효과성에 어떤 영향을 미치는가?
• RQ5 샘플 선택이 더 이상 기여하지 않거나 무작위 선택으로 회귀하는 샷 수는 어느 정도인가?

주요 결과

• ACSESS는 모든 개별 샘플 선택 전략과 최근의 LENS 방법을 모두 능가하며, 인라인 컨텍스트 학습에서 최대 5%p 향상되고, 기울기 기반 소수 샘플 학습에서는 최대 3%p 향상된다.
• 저샷 수준(예: 5~10샷)에서 샘플 선택의 영향력이 뚜렷하며, 성능 향상이 최대 3%p까지 가능하지만, 높은 샷 수(평균 30~40샷)에 이르면 무작위 선택으로 회귀한다.
• 기울기 기반 학습에서는 50샷 이상, 인라인 컨텍스트 학습에서는 20샷 이상에서 샷 수 증가에 따른 성능 향상의 감소가 뚜렷하며, 입력 텍스트 길이와 모델의 컨텍스트 창 크기에 크게 의존한다.
• 개별 전략의 효과는 데이터셋, 모델, 학습 철학에 따라 크게 달라지며, 높은 모달리티 및 접근법 의존성이 나타난다.
• ACSESS를 통한 전략 조합이 가장 높은 성능 향상을 이끌며, 특히 다양성, 불확실성, 정보성 등의 다양한 특성을 가진 전략 조합(예: Cartography Hard + Easy + Ambiguous)이 개별 전략보다 뛰어난 성능을 보인다.
• Forgetting, Glister, GraNd와 같은 전략은 특정 모델(예: Forgetting은 Mistral을 1.22점 향상)에서 뛰어난 성능을 보이지만, 모든 설정에서 일관된 성능 향상을 보이진 않는다.