[논문 리뷰] rollama: An R package for using generative large language models through Ollama

Johannes B. Gruber, Maximilian Weber|arXiv (Cornell University)|2024. 04. 11.

Computational and Text Analysis Methods인용 수 8

한 줄 요약

rollama는 Ollama API를 래핑하여 로컬에서 오픈 소스 생성형 대형 언어 모델(GLLMs)을 실행하는 R 패키지로, 재현성 및 프라이버시를 보장하면서 주석 달기, 임베딩 및 기타 LLM 작업을 가능하게 한다.

ABSTRACT

rollama is an R package that wraps the Ollama API, which allows you to run different Generative Large Language Models (GLLM) locally. The package and learning material focus on making it easy to use Ollama for annotating textual or imagine data with open-source models as well as use these models for document embedding. But users can use or extend rollama to do essentially anything else that is possible through OpenAI's API, yet more private, reproducible and for free.

연구 동기 및 목표

• R에서 Generative Large Language Models (GLLMs)의 개방적이고 프라이버시를 지키며 재현 가능한 사용을 촉진합니다.
• R에서 로컬 모델 접근을 위한 Ollama API에 대한 쉬운 래퍼를 제공합니다.
• 독점 API 없이 개방 모델을 사용하여 일반적인 NLP 작업(주석 달기, 임베딩)을 가능하게 합니다.
• rollama의 사용 및 확장을 촉진하기 위한 안내 및 학습 자료를 제공합니다.
• 시드 제어 프롬프트와 제로/원샷/적은 샷 프롬프트를 통해 재현 가능한 워크플로를 강조합니다.

제안 방법

• R에서 로컬에 호스팅된 GLLMs를 실행하기 위해 Ollama API를 래핑합니다.
• 두 가지 핵심 기능: 단일 프롬프트를 위한 query()와 대화 기록을 위한 chat().
• pull_model()를 통한 Ollama 라이브러리에서 모델을 다운로드하기 위한 모델 관리.
• 재현 가능한 출력을 위해 온도를 0으로 설정한 시드 프롬프트.
• 멀티모달 모델(예: 이미지 가능 llava) 및 텍스트 임베딩을 지원합니다.
• 사용 및 확장을 용이하게 하는 학습 자료와 튜토리얼을 제공합니다.

실험 결과

연구 질문

• RQ1 rollama가 Ollama를 통해 R 내에서 오픈 소스 LLM을 연구자가 어떻게 사용할 수 있게 할 수 있나?
• RQ2 재현 가능한 출력(예: 시드 및 온도 설정)에 대해 rollama가 어떤 보장을 제공합니까?
• RQ3 연구자들이 rollama를 텍스트 주석 작업과 생성/문서 임베딩에 어떻게 적용할 수 있나요?
• RQ4 rollama를 통해 Ollama 모델을 사용하는 다중 모드 및 임베딩 워크플로의 역량과 한계는 무엇인가요?

주요 결과

• rollama는 Ollama를 통해 R에서 로컬로 오픈 소스 LLM을 실행하는 접근 가능한 다리를 제공합니다.
• 단일 턴 쿼리와 기록 보존이 가능한 대화형 채팅을 모두 지원합니다.
• 온도 0의 시드 프롬프트로 재현 가능한 출력이 가능합니다.
• 제로/적은 샷 및 사고의 연쇄 프롬프트 전략으로 텍스트 주석을 가능하게 합니다.
• 다중 모드 모델(예: llava)과 nomic-embed-text 및 all-minilm 같은 모델로 임베딩 생성을 지원합니다.
• 패키지와 함께 학습 자료 및 튜토리얼이 제공되어 채택을 용이하게 합니다.