[논문 리뷰] Interactive Multi-fidelity Learning for Cost-effective Adaptation of Language Model with Sparse Human Supervision

Jiaxin Zhang, Zhuohang Li외 2명|arXiv (Cornell University)|2023. 10. 31.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 재정 및 의료 작업에서 인간 레이블링 예산의 1/3으로 5배의 인간 레이블링 성능을 달성하는 비용 효율적인 프레임워크인 상호작용 다중 신뢰도 학습(IMFL)을 제안한다. 이는 저신뢰도의 LLM 생성(annotation)과 고신뢰도의 인간 레이블링을 전략적으로 조합함으로써 도메인 특화된 소형 언어 모델의 프ine-tuning을 위한 것이다. 프롬프트 검색과 가변 배치 크기를 활용한 탐색-이용 쿼리 전략을 통해 IMFL는 재정 및 의료 작업에서 인간 레이블링 예산의 1/3으로 5배의 인간 레이블링 성능을 달성한다.

ABSTRACT

Large language models (LLMs) have demonstrated remarkable capabilities in various tasks. However, their suitability for domain-specific tasks, is limited due to their immense scale at deployment, susceptibility to misinformation, and more importantly, high data annotation costs. We propose a novel Interactive Multi-Fidelity Learning (IMFL) framework for the cost-effective development of small domain-specific LMs under limited annotation budgets. Our approach formulates the domain-specific fine-tuning process as a multi-fidelity learning problem, focusing on identifying the optimal acquisition strategy that balances between low-fidelity automatic LLM annotations and high-fidelity human annotations to maximize model performance. We further propose an exploration-exploitation query strategy that enhances annotation diversity and informativeness, incorporating two innovative designs: 1) prompt retrieval that selects in-context examples from human-annotated samples to improve LLM annotation, and 2) variable batch size that controls the order for choosing each fidelity to facilitate knowledge distillation, ultimately enhancing annotation quality. Extensive experiments on financial and medical tasks demonstrate that IMFL achieves superior performance compared with single fidelity annotations. Given a limited budget of human annotation, IMFL significantly outperforms the human annotation baselines in all four tasks and achieves very close performance as human annotations on two of the tasks. These promising results suggest that the high human annotation costs in domain-specific tasks can be significantly reduced by employing IMFL, which utilizes fewer human annotations, supplemented with cheaper and faster LLM (e.g., GPT-3.5) annotations to achieve comparable performance.

연구 동기 및 목표

• 전문 지식이 필요한 도메인 특화 언어 모델의 프ine-tuning에 있어 인간 레이블링의 높은 비용 문제를 해결하기 위해.
• 높은 위험도가 수반되는 도메인에서 환상과 오류 정보를 야기하는 단독 LLM 생성 annotation의 한계를 극복하기 위해.
• 엄격한 레이블링 예산 하에서 저신뢰도 LLM annotation과 고신뢰도 인간 annotation을 최적의 균형으로 조합하는 비용 효율적인 프ine-tuning 프레임워크를 개발하기 위해.
• 다중 신뢰도 학습 환경에서 문맥 내 학습과 동적 배치 스케줄링을 활용하여 annotation 품질과 모델 성능을 향상시키기 위해.

제안 방법

• LLM과 인간을 서로 다른 신뢰도를 가진 annotation 소스로 간주하면서, 도메인 특화 프ine-tuning 문제를 상호작용 다중 신뢰도 학습 문제로 재정의한다.
• 탐색-이용 쿼리 전략을 설계: LLM은 다양성을 위해 탐색하고, 인간 annotation은 정보성에 대해 이용한다.
• 문맥 내 예시를 인간 annotation 데이터에서 검색하는 프롬프트 검색을 도입하여 LLM 생성 annotation의 정확도를 향상시킨다.
• 가변 배치 크기를 구현하여 annotation 확보 순서를 제어함으로써, LLM과 인간 annotation 간의 지식 전이를 향상시킨다.
• 반복적인 능동 학습을 적용하여 인간 annotation에 가장 불확실하거나 정보성 있는 샘플을 선택함으로써 중복된 노력 최소화를 이룬다.
• 지식 전이 기법을 적용하여 최종 모델의 지식을 LLM-annotator로 전이함으로써 향후 LLM 예측의 정밀도를 향상시킨다.

Figure 1: (a) Proposed Interactive Multi-Fidelity Learning Framework ( IMFL ). IMFL aims at solving the best acquisition strategy that balances between low-fidelity automatic LLM annotations and high-fidelity human annotations to maximize model performance given limited annotation budgets. (b) IMFL

실험 결과

연구 질문

• RQ1 다중 신뢰도 학습 프레임워크는 성능을 희생시키지 않고 도메인 특화 언어 모델 프ine-tuning에서 인간 레이블링 비용을 줄일 수 있는가?
• RQ2 저신뢰도 LLM annotation과 희박한 고신뢰도 인간 annotation을 조합한 결과가 단일 신뢰도 기준선 대비 모델 성능에서 어떻게 비교되는가?
• RQ3 프롬프트 검색과 가변 배치 크기 조절이 자원이 제한된 고위험 도메인에서 LLM 생성 annotation의 품질을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 프레임워크는 인간 레이블링 예산의 1/3으로 5배의 인간 레이블링 성능에 도달할 수 있는가?
• RQ5 재정 및 의료 NLP 작업에서 LLM과 인간 annotator 간의 상호작용이 모델 일반화 및 강건성에 어떤 영향을 미치는가?

주요 결과

• IMFL는 재정 및 의료 NLP 분야의 네 가지 평가 작업 전반에서 3배 인간 annotation 기준선을 뛰어넘는 성능을 보이며, 비용-성능 균형이 뛰어나다는 것을 입증한다.
• 네 가지 작업 중 두 개의 작업에서 IMFL는 5배 인간 annotation 상한선에 매우 가까운 성능을 달성하여 높은 효율성 향상을 보였다.
• 프롬프트 검색 통합으로 인해 인간 annotation 데이터에서 관련된 문맥 내 예시를 선별함으로써 LLM annotation 정확도가 향상되었다.
• 가변 배치 크기 조절은 지식 전이를 향상시켜 LLM과 인간 annotation 간의 일치도를 높이고 모델 일반화 성능을 향상시켰다.
• 이 프레임워크는 인간 레이블링 비용을 최대 66%까지 줄였으며, 전체 인간 annotation 기준선의 성능을 유지하거나 초월하였다.
• IMFL는 다양한 도메인에 대해 강건하며, 제한된 레이블링 예산 하에서도 재정 및 의료 NLP 작업 전반에서 일관된 성능 향상을 보였다.

Figure 3: Illustration of exploration-exploitation query strategy with core components and steps.