[논문 리뷰] Small Models are Valuable Plug-ins for Large Language Models

Canwen Xu, Xu Yi‐chong외 4명|arXiv (Cornell University)|2023. 05. 15.

Topic Modeling인용 수 15

한 줄 요약

SuperICL은 블랙박스 LLM과 로컬로 미세조정된 소형 모델을 플러그인으로 결합하여 표준 파인튜닝 및 ICL을 능가하는 지도학습 태스크 성능을 향상시키고, 안정성과 해석 가능성 향상을 제공합니다.

ABSTRACT

Large language models (LLMs) such as GPT-3 and GPT-4 are powerful but their weights are often publicly unavailable and their immense sizes make the models difficult to be tuned with common hardware. As a result, effectively tuning these models with large-scale supervised data can be challenging. As an alternative, In-Context Learning (ICL) can only use a small number of supervised examples due to context length limits. In this paper, we propose Super In-Context Learning (SuperICL) which allows black-box LLMs to work with locally fine-tuned smaller models, resulting in superior performance on supervised tasks. Our experiments demonstrate that SuperICL can improve performance beyond state-of-the-art fine-tuned models while addressing the instability problem of in-context learning. Furthermore, SuperICL can enhance the capabilities of smaller models, such as multilinguality and interpretability.

연구 동기 및 목표

• 블랙박스 LLM에 로컬로 미세조정된 소형 모델을 플러그인으로 활용해 지도학습 태스크 성능을 향상시키는 방법을 동기 부여하고 개발한다.
• 플러그인 예측 및 신뢰도(confidence)를 사용하여 LLM을 안내함으로써 In-Context Learning(ICL)의 불안정성과 컨텍스트 길이 한계를 해결한다.
• GLUE 및 XNLI 벤치마크에서 효과를 시연하며 다국어 설정을 포함한다.
• 적대적 공격에 대한 강건성을 탐구하고 구성 요소 기여도, 예시 선택 및 인컨텍스트 예시 수를 분석한다.

제안 방법

• 태스크 데이터에 대해 소형 플러그인 모델을 미세튜닝한다(예: GLUE의 RoBERTa-Large, XNLI의 XLM-V).
• 학습 예시를 샘플링하고 플러그인 예측과 신뢰도 및 정답 레이블을 포함하여 컨텍스트를 구성한다.
• 테스트 입력에 플러그인 테스트 예측(및 신뢰도)을 부착하고 LLM이 최종 레이블과 선택적 설명을 생성하도록 한다.
• GLUE 및 XNLI에서 SuperICL을 ICL 및 플러그인 모델 단독과 비교 평가하며, 제거실험, 재정의, 예시 수에 대한 민감도를 분석한다.
• 적대적 공격(ANLI)에 대한 강건성을 분석하고 의사결정에 대한 플러그인 신뢰도 영향력을 연구한다.
• 다른 플러그인 모델(예: RoBERTa 대 DeBERTa) 간의 성능 비교와 한계 및 향후 방향에 대해 논의한다.

실험 결과

연구 질문

• RQ1 표준 지도학습 벤치마크(GLUE, XNLI)에서 SuperICL이 GPT-3.5 ICL 및 플러그인 모델 단독을 능가하는가?
• RQ2 컨텍스트, 플러그인 신뢰도 점수, 테스트 입력 플러그인 예측이 전체 성능에 어떻게 기여하는가(특성 제거 분석)?
• RQ3 인컨텍스트 예시 선택 및 예시 수에 따른 SuperICL의 안정성은 어떠한가?
• RQ4 다국어 전이에서 SuperICL은 어떻게 동작하며 어떤 언어가 이득을 보이고 어떤 언어가 뒤처지는가(XNLI 결과)?
• RQ5 플러그인 강건성(적대적 공격)이 SuperICL 성능에 미치는 영향은 무엇인가?

주요 결과

• GLUE에서 SuperICL은 GPT-3.5 ICL 및 RoBERTa-Large를 각각 평균 차이 8.58포인트 및 1.22포인트로 능가한다.
• XNLI에서 XLM-V와 결합될 때 다수의 언어에서 상당한 향상을 보이나 우르두어는 토크나이제이션 및 기초 모델 약점으로 인해 개선되지 않았다.
• 특성 제거 분석은 테스트 입력 플러그인 예측, 플러그인 신뢰도 점수, 인-컨텍스트 예시 포함의 중요성을 보여준다.
• SuperICL은 무작위 시드에 따른 ICL보다 더 안정적인 성능을 나타내며 분산이 더 작고, 특히 MRPC에서 그렇다.
• GPT-3.5에 의한 재정의 예측은 플러그인 신뢰도가 낮을 때 발생하는 경향이 있어 의사결정에 신뢰도 점수를 의미 있게 활용함을 시사한다.
• 더 강력한 플러그인(예: DeBERTa)을 사용해도 여전히 SuperICL에 이익이 있지만 플러그인과 LLM 간의 격차가 좁아지면서 이득은 감소한다.
• 적대적 강건성 분석은 플러그인에 대한 공격이 SuperICL를 악화시킬 수 있음을 보여주며, 강한 플러그인 공격 하에서는 때때로 ICL이 SuperICL보다 우수할 수 있다.