[논문 리뷰] Challenges and Applications of Large Language Models

Jean Kaddour, Joshua Harris외 4명|arXiv (Cornell University)|2023. 07. 19.

Topic Modeling인용 수 172

한 줄 요약

대형 언어 모델을 다양한 도메인에 걸쳐 적용하는 데 있어 설계, 행동, 과학의 개방 문제와 현재의 성공을 체계적으로 개관하고 제약과 트레이드오프를 강조하는 조사.

ABSTRACT

Large Language Models (LLMs) went from non-existent to ubiquitous in the machine learning discourse within a few years. Due to the fast pace of the field, it is difficult to identify the remaining challenges and already fruitful application areas. In this paper, we aim to establish a systematic set of open problems and application successes so that ML researchers can comprehend the field's current state more quickly and become productive.

연구 동기 및 목표

• LLM 설계, 행동, 과학적 진보에서 해결되지 않은 과제를 식별한다.
• 성공적인 적용 도메인을 분류하고 이러한 도전이 이를 어떻게 제약하는지 파악한다.
• ML 연구자들이 LLM 연구 및 배포의 진전을 가속화할 수 있도록 지침을 제공한다.

제안 방법

• 도전을 설계(design), 행동(behavior), 과학(science)의 세 가지 큰 범주로 분류한다.
• 각 도전에 대응하는 기존 연구와 보고된 기법을 검토한다.
• 적용 영역과 관련 제약을 요약하여 향후 연구 방향을 제시한다.

Figure 1: Overview of LLM Challenges. Design ing LLMs relates to decisions taken before deployment. Behavior ial challenges occur during deployment. Science challenges hinder academic progress.

실험 결과

연구 질문

• RQ1 설계, 행동, 과학 전반에서 대형 언어 모델에 대해 아직 해결되지 않은 과제는 무엇인가?
• RQ2 LLMs가 현재 어디에 적용되고 있으며, 이러한 도전들이 이러한 응용에 어떤 한계를 부과하는가?
• RQ3 어떤 데이터, 토크나이제이션, 학습, 미세조정, 평가 관행이 LLM 성능과 신뢰성에 영향을 미치는가?

주요 결과

• 사전 학습용 데이터 세트는 방대하고 종종 파악하기 어렵지만, 거의 중복(near-duplicates) 및 벤치마크 오염이 모델의 행동과 평가에 영향을 준다.
• 토크나이제이션과 토크나이저–모델 결합은 특히 다국어 및 자원이 적은 언어에서 언어적·자원적 불평등을 초래한다.
• 사전 학습 비용이 매우 높아 데이터 효율성을 개선하기 위한 규모의 법칙(scaling laws), 컴퓨트 최적 전략, 대체 학습 목표에 대한 관심이 증가한다.
• 미세조정은 메모리 및 저장 용량 요구로 인해 실질적 제약을 받으며, 어댑터, 프리픽스-튜닝, 프롬프트-튜닝과 같은 매개변수 효율적 미세조정 방법의 탐구를 촉진한다.
• 다양한 사전 학습 목표(MLM, prefix LM, span denoising, MoD)와 데이터 구성 전략이 데이터 효율성과 다운스트림 전이성에 영향을 미치며, 무역-off에 대한 연구가 지속되고 있다.
• 또한 이 논문은 챗봇, 계산 생물학, 프로그래밍, 창작 활동, 지식 작업, 법, 의학, 추론, 로봇공학, 사회과학, 합성 데이터 생성 등 광범위한 응용 분야를 다룬다.

Figure 2: Exemplary Drawbacks of relying on Tokenization. (1) The tokenizer training step involves non-trivial computations, e.g., multiple passes over the entire pre-training dataset, and introduces a dependency on it, which can become especially problematic in multilingual settings. (2) The embedd