[論文レビュー] rollama: An R package for using generative large language models through Ollama

Johannes B. Gruber, Maximilian Weber|arXiv (Cornell University)|Apr 11, 2024

Computational and Text Analysis Methods被引用数 8

ひとこと要約

rollamaは、オープンソースのGenerative Large Language Modelsをローカルで実行するためにOllama APIをラップするRパッケージで、再現性とプライバシーを確保しつつ、注釈付け、埋め込み、その他のLLMタスクを可能にします。

ABSTRACT

rollama is an R package that wraps the Ollama API, which allows you to run different Generative Large Language Models (GLLM) locally. The package and learning material focus on making it easy to use Ollama for annotating textual or imagine data with open-source models as well as use these models for document embedding. But users can use or extend rollama to do essentially anything else that is possible through OpenAI's API, yet more private, reproducible and for free.

研究の動機と目的

• RにおけるGenerative Large Language Models (GLLMs) のオープン、プライベート、再現可能な利用を促進する。
• RからローカルモデルへアクセスするためのOllama APIへの簡易ラッパーを提供する。
• オープンモデルを用いて、専有APIなしで注釈付けや埋め込みなどの一般的なNLPタスクを実行できるようにする。
• rollamaの利用と拡張を促進するためのガイダンスと学習資料を提供する。
• シード制御プロンプトとゼロ/ワン/ファューショット promptingを通じて再現性のあるワークフローを強調する。

提案手法

• RからローカルにホストされたGLLMsを実行するためにOllama APIをラップする。
• 2つのコア関数: single prompts用のquery() と会話履歴用のchat()。
• Ollamaのライブラリからモデルをダウンロードするpull_model()によるモデル管理。
• 再現性のある出力のため、温度を0に設定したシード付きプロンプト。
• マルチモーダルモデル（例: 画像対応のllava）とテキスト埋め込みをサポート。
• 使用と拡張を促進する学習材料とチュートリアルを提供。

実験結果

リサーチクエスチョン

• RQ1 rollamaは研究者がOllamaを介してR内でオープンソースのLLMを利用することをどう実現できるか？
• RQ2 再現性のある出力（シードや温度設定など）に対してrollamaはどのような提供を行うか？
• RQ3 研究者はrollamaをテキスト注釈タスクや生成/埋め込みの作成にどのように適用できるか？
• RQ4 rollamaを介してOllamaモデルを使用したマルチモーダルおよび埋め込みワークフローの能力と限界は何か？

主な発見

• rollamaはRからOllamaを介してオープンソースLLMをローカルで実行するためのアクセス可能な橋渡しを提供します。
• 単発クエリと履歴を保持する会話型チャットの両方をサポートします。
• 温度0のシード付きプロンプトは再現性のある出力を可能にします。
• ゼロ/少数-shotおよび推論過程プロンプト戦略を用いたテキスト注釈を可能にします。
• マルチモーダルモデル（例: llava）とnomic-embed-text および all-minilm のようなモデルによる埋め込み生成をサポートします。
• 導入を容易にする学習材料とチュートリアルがパッケージに付随します。