[논문 리뷰] Skill-Mix: a Flexible and Expandable Family of Evaluations for AI models

Dingli Yu, Simran Kaur외 4명|arXiv (Cornell University)|2023. 10. 26.

Scientific Computing and Data Management인용 수 6

한 줄 요약

이 논문은 랜덤한 주제-스킬 조합에서 텍스트를 생성함으로써 LLM의 다양한 언어적 및 추론 스킬을 새로운 방식으로 통합하는 능력을 평가하는 유연하고 확장 가능한 평가 프레임워크인 Skill-Mix를 소개한다. 이 방법은 학습 데이터를 초월한 통합을 요구함으로써 오염 및 '암기'를 방지하며, 결과적으로 GPT-4가 k=5 조합에서 뛰어난 성능을 보인 것은 '확률적 당나귀' 행동을 초월한다는 것을 시사한다.

ABSTRACT

With LLMs shifting their role from statistical modeling of language to serving as general-purpose AI agents, how should LLM evaluations change? Arguably, a key ability of an AI agent is to flexibly combine, as needed, the basic skills it has learned. The capability to combine skills plays an important role in (human) pedagogy and also in a paper on emergence phenomena (Arora & Goyal, 2023). This work introduces Skill-Mix, a new evaluation to measure ability to combine skills. Using a list of $N$ skills the evaluator repeatedly picks random subsets of $k$ skills and asks the LLM to produce text combining that subset of skills. Since the number of subsets grows like $N^k$, for even modest $k$ this evaluation will, with high probability, require the LLM to produce text significantly different from any text in the training set. The paper develops a methodology for (a) designing and administering such an evaluation, and (b) automatic grading (plus spot-checking by humans) of the results using GPT-4 as well as the open LLaMA-2 70B model. Administering a version of to popular chatbots gave results that, while generally in line with prior expectations, contained surprises. Sizeable differences exist among model capabilities that are not captured by their ranking on popular LLM leaderboards ("cramming for the leaderboard"). Furthermore, simple probability calculations indicate that GPT-4's reasonable performance on $k=5$ is suggestive of going beyond "stochastic parrot" behavior (Bender et al., 2021), i.e., it combines skills in ways that it had not seen during training. We sketch how the methodology can lead to a Skill-Mix based eco-system of open evaluations for AI capabilities of future models.

연구 동기 및 목표

• 현재 LLM 평가의 한계를 해결하기 위해, 학습 데이터 오염 및 랭킹 순위를 위한 '암기'에 취약한 평가 방식을 개선한다.
• 모델이 새로운, 볼 수 없었던 조합에서 스킬을 민첩하게 통합할 수 있는 능력을 측정하는 평가를 개발한다.
• 미래의 AI 능력 평가를 지원하기 위해 확장 가능하고 개방적이며 업그레이드 가능한 평가 프레임워크를 구축한다.
• 통계적 모방을 넘어서 진정으로 일반화된 능력과 새로운 추론 능력을 탐지할 수 있도록 한다.
• 자동 평가 방법을 제공하고 인간의 샘플 체크를 통해 신뢰성과 확장성을 확보한다.

제안 방법

• 명확한 정의와 예시를 제공하는 N개의 핵심 스킬(예: 은유, 혼란 유도, 모드 이포네נס)을 정의한다.
• 학습 데이터에서 빈도는 낮지만 무시할 수 없는 정도의 T개의 주제를 선정한다(예: '대결', '정원 가꾸기').
• 각 평가 인스턴스에서 N개의 스킬 중 k개의 스킬 조합과 T개의 주제 중 하나를 무작위로 샘플링한다.
• LLM에게 선택된 주제를 배경으로 하여 k개의 스킬을 모두 구현하는 3문장 텍스트를 생성하도록 프롬프트를 제공한다.
• GPT-4 또는 LLaMA-2 70B를 사용해 자동으로 출력물의 스킬 구현 정도를 평가하고, 검증을 위해 인간의 샘플 체크를 실시한다.
• k를 증가시킴으로써 유일한 스킬 조합의 수(N 선택 k)가 기하급수적으로 증가하도록 평가를 확장하여 암기 가능성은 낮춘다.

실험 결과

연구 질문

• RQ1 LLM은 학습 기간 동안 볼 수 없었던 스킬과 주제의 새로운 조합에서 일관되고 의미 있는 텍스트를 생성할 수 있는가?
• RQ2 현재의 LLM은 스킬 조합 성능 측정을 통해 암기 이외의 일반화 능력을 얼마나 보여주는가?
• RQ3 표준 랭킹 순위와 비교했을 때 주요 LLM의 스킬 조합 성능은 어떠한가?
• RQ4 GPT-4를 활용한 자동 평가가 최소한의 인간 감시로도 스킬 통합 출력의 품질을 신뢰성 있게 평가할 수 있는가?
• RQ5 k=5 스킬 조합에서의 뛰어난 성능은 GPT-4와 같은 모델이 '확률적 당나귀' 행동을 초월한다는 것을 시사하는가?

주요 결과

• GPT-4는 k=5 조합에서 일관되고 일관성 있는 성능을 보이며, 학습 기간 동안 직접 관찰되지 않은 방식으로 스킬을 통합할 수 있음을 시사한다.
• Skill-Mix 평가 결과, 표준 랭킹 순위에서는 드러나지 않았던 모델 간 능력 차이가 명확히 드러나, '랭킹 순위를 위한 암기' 문제가 실제로 존재한다는 것을 시사한다.
• 스킬 조합의 가능한 조합 수(N 선택 k)가 기하급수적으로 증가함으로써 암기 가능성은 매우 낮아지며, 기존 평가 방식보다 오염 위험이 크게 감소한다.
• 사람이 k=4 Skill-Mix에 대해 작성한 응답은 평균 7분 이상이 소요되었으며, 이는 스킬 통합의 인지 부담이 상당히 크며 단순한 패턴 매칭으로는 쉽게 재현되지 않음을 시사한다.
• GPT-4를 활용한 자동 평가가 높은 신뢰도를 보였으며, 샘플 체크를 통해 자동 평가 점수와 인간 평가 간의 높은 일치도를 확인할 수 있었다.
• 이 방법론은 향후 AI 일반화 능력 평가를 지원할 수 있는 개방적이고 확장 가능한 평가 생태계를 조성할 수 있다.