[논문 리뷰] Multilevel Large Language Models for Everyone

Yuanhao Gong|arXiv (Cornell University)|2023. 07. 25.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 효율성, 개인정보 보호 및 성능 향상을 위해 글로벌, 분야별, 개인용 LLM을 통합하는 계층적 프레임워크인 다층 대규모 언어 모델(Multilevel Large Language Models, MLLM)을 제안한다. 대규모 클라우드 기반 모델을 전문화된 로컬에서 실행되는 개인용 모델로 희석함으로써 MLLM은 중복을 줄이고 응답 속도를 향상시키며 사용자 데이터를 보호한다. 또한 고급 사용자 입력을 장려하고 개발을 분산화하기 위해 블록체인 기반 경제 모델을 통합하여 보다 광범위한 접근성을 확보한다.

ABSTRACT

Large language models have made significant progress in the past few years. However, they are either generic {\it or} field specific, splitting the community into different groups. In this paper, we unify these large language models into a larger map, where the generic {\it and} specific models are linked together and can improve each other, based on the user personal input and information from the internet. The idea of linking several large language models together is inspired by the functionality of human brain. The specific regions on the brain cortex are specific for certain low level functionality. And these regions can jointly work together to achieve more complex high level functionality. Such behavior on human brain cortex sheds the light to design the multilevel large language models that contain global level, field level and user level models. The user level models run on local machines to achieve efficient response and protect the user's privacy. Such multilevel models reduce some redundancy and perform better than the single level models. The proposed multilevel idea can be applied in various applications, such as natural language processing, computer vision tasks, professional assistant, business and healthcare.

연구 동기 및 목표

• 일반적이고 분야별 대규모 언어 모델을 통합된 계층적 시스템으로 통합해 성능과 효율성을 향상시키는 것.
• 사용자 수준의 모델을 개인 장치에 로컬으로 배포하여 대규모 언어 모델의 개인정보 유출 및 계산 비효율 문제를 해결하는 것.
• 다중 수준의 희석과 특화를 통해 모델 중복을 줄이고 응답 속도를 향상시키는 것.
• 고품질의 사용자 입력을 장려하고 LLM 개발의 접근 장벽을 낮추기 위해 블록체인 통합 분산 경제 모델을 개발하는 것.
• 사용자와 장치 간의 훈련 및 추론을 분산화하여 LLM 기술에 대한 광범위한 접근성을 보장하는 것.

제안 방법

• 세 수준 아키텍처를 제안: 글로벌 LLM(광범위한 데이터로 사전 훈련된 클라우드 기반 모델), 분야 수준 LLM(의료나 금융과 같은 분야에 맞게 미세조정 및 희석된 모델), 사용자 수준 LLM(개인 장치에 로컬 배포를 위해 추가로 희석된 모델).
• 더 큰 모델에서 더 작고 빠르며 개인정보 보호 기능이 강화된 로컬 모델로 지식을 이전하기 위해 지식 희석 기법을 적용한다.
• 사용자가 분산형 노드로 기여하며 계산 자원을 기부하고 서비스를 수령하는 블록체인 기반 시스템을 도입하여 상호 경제적 유인 메커니즘을 조성한다.
• 사용자 입력을 모든 수준에서 모델 개선에 기여하는 가치 있는 자원으로 간주하고, 계층 전반에서 모델 정교화에 사용자 피드백을 통합한다.
• 확장 가능하고 안정적인 모델 훈련 및 추론을 지원하기 위해 블록체인 아키텍처를 영감으로 삼은 분산형 병렬 계산 모델을 설계한다.
• 뇌의皮질 기능 특화를 생물학적 유사성으로 활용: 저수준의 전문화된 영역들이 협력하여 고수준 인지 기능을 가능하게 하며, 이는 각 수준 간의 모델 상호작용을 반영한다.

실험 결과

연구 질문

• RQ1 글로벌, 분야별, 개인용 대규모 언어 모델을 어떻게 계층적으로 연결하여 성능과 효율성을 향상시킬 수 있는가?
• RQ2 희석된 모델을 로컬에 배포하면 응답 속도와 사용자 개인정보 보호는 향상되면서도 높은 정확도를 유지할 수 있는가?
• RQ3 사용자 입력을 체계적으로 가치 있는 자원으로 활용하여 모든 수준의 LLM을 향상시킬 수 있는가?
• RQ4 LLM 개발을 분산화하고 고품질 기여를 장려하기 위한 경제적 및 기술적 메커니즘은 무엇인가?
• RQ5 블록체인 기반 인fra는 다층 대규모 언어 모델의 확장 가능하고 안정적이며 효율적인 훈련 및 추론을 지원할 수 있는가?

주요 결과

• 다층 프레임워크는 글로벌, 분야별, 개인 수준에서의 모델 특화를 통해 중복을 줄이고 효율성을 향상시킨다.
• 사용자 수준의 LLM을 로컬에 배포함으로써 클라우드 중심 모델 대비 더 빠른 추론과 더 강력한 개인정보 보호 기능을 제공한다.
• 제안된 시스템은 대규모 글로벌 모델에서 각 수준의 더 작은, 응용 분야에 특화된 모델로의 효율적 지식 희석을 지원한다.
• 사용자 입력은 모든 수준에서 모델 향상에 기여하는 가치 있는, 인센티브 기반 자원으로 간주되며, 이는 전체 시스템의 성능 향상에 기여한다.
• 블록체인 통합은 사용자와 개발자가 계산 자원과 서비스를 교환함으로써 상호 이익을 얻는 분산형 자율 경제 모델을 가능하게 한다.
• 이 프레임워크는 자연어 처리, 컴퓨터 비전, 헬스케어, 비즈니스 인텔리전스 등 다양한 응용 분야로 확장 가능하며 광범위한 적용 가능성을 입증한다.