[論文レビュー] LOLA: LLM-Assisted Online Learning Algorithm for Content Experiments

Zikun Ye, Hema Yoganarasimhan+1 more|arXiv (Cornell University)|Jun 3, 2024

Online Learning and Analytics被引用数 4

ひとこと要約

LOLAは、大規模言語モデル（LLM）と上界信頼区間（UCB）バンディットアルゴリズムを統合した画期的なオンライン学習アルゴリズムであり、リアルタイムでのコンテンツ配信最適化を実現する。LLMベースの見出し順位付けと適応的トラフィック割り当てを組み合わせることで、後悔を低減し、標準的なA/Bテスト、純粋なバンディット手法、および単体のLLMを上回る。見出し選定において最大84%の正確性を達成し、低トラフィックまたは高アーム状況でもクリックスルーレートを顕著に向上させる。

ABSTRACT

Modern media firms require automated and efficient methods to identify content that is most engaging and appealing to users. Leveraging a large-scale dataset from Upworthy (a news publisher), which includes 17,681 headline A/B tests, we first investigate the ability of three pure-LLM approaches to identify the catchiest headline: prompt-based methods, embedding-based methods, and fine-tuned open-source LLMs. Prompt-based approaches perform poorly, while both OpenAI-embedding-based models and the fine-tuned Llama-3-8B achieve marginally higher accuracy than random predictions. In sum, none of the pure-LLM-based methods can predict the best-performing headline with high accuracy. We then introduce the LLM-Assisted Online Learning Algorithm (LOLA), a novel framework that integrates Large Language Models (LLMs) with adaptive experimentation to optimize content delivery. LOLA combines the best pure-LLM approach with the Upper Confidence Bound algorithm to allocate traffic and maximize clicks adaptively. Our numerical experiments on Upworthy data show that LOLA outperforms the standard A/B test method (the current status quo at Upworthy), pure bandit algorithms, and pure-LLM approaches, particularly in scenarios with limited experimental traffic. Our approach is scalable and applicable to content experiments across various settings where firms seek to optimize user engagement, including digital advertising and social media recommendations.

研究の動機と目的

• 記事の寿命が短いため、すべての見出しに等量のトラフィックを割り当てることで後悔が高まる標準的なA/Bテストの非効率性を是正すること。
• オンラインバンディットアルゴリズムにおけるコールドスタート問題を克服すること。初期段階での探索において、最適でないアームに過剰なトラフィックが割り当てられるのを防ぐ。
• 純粋なLLMベースのアプローチ（プロンプト、埋め込み、ファインチューニング）が、より魅力的な見出しを特定する能力を評価すること。
• LLMによる初期順位付けとバンディットによる適応的トラフィック割り当てを組み合わせたハイブリッドフレームワーク、LOLAを設計・検証し、クリック数を最大化すること。
• LOLAのスケーラビリティと有効性を、ニュース、ソーシャルメディア、広告など多様なデジタルコンテンツ環境で実証すること。

提案手法

• LOLAは、OpenAIの埋め込みを用いて、見出しペアの予測クリックスルーレート（CTR）差を基に分類し、より良い見出しを識別する精度が約82〜84%に達する。
• 最も性能の良いLLMベース分類器を、上界信頼区間（UCB）バンディットアルゴリズムと統合し、推定されたパフォーマンスと不確実性に基づいてトラフィックを動的に割り当てる。
• アルゴリズムは、各見出しについてLLMが生成する信頼度スコアから開始し、UCBを用いて探索と活用のバランスを保ち、高い期待報酬と高い不確実性を持つアームを優先する。
• LOLAは、17,681件のUpworthy見出しA/Bテストからなる大規模データセット上で訓練および評価されており、各テストでは同じ記事の複数の見出しを比較している。
• 時間経過とともにトラフィックがよりパフォーマンスの高い見出しに適応的にシフトされ、後悔を最小限に抑え、全体のクリック収益を向上させる。
• このフレームワークは、デジタル広告、ソーシャルメディア、ニュース推薦システムにおけるコンテンツ最適化にスケーラブルかつ汎用的であるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 純粋なLLMベースのアプローチ（プロンプト、埋め込み、ファインチューニング）は、2つの見出しの中でより魅力的な方を特定する能力がどの程度高いのか？
• RQ2 LLMベースのモデルは、見出し選定においてランダムな推測を上回る性能を示すのか？また、人間の判断と比べてどうか？
• RQ3 LLMベースの順位付けとバンディットアルゴリズムを組み合わせることで、標準的なA/Bテストや純粋なバンディット手法と比較して後悔が低減するのか？
• RQ4 LOLAは、低トラフィックまたは高アームのコンテンツ実験状況でどの程度の性能を示すのか？
• RQ5 LLMの統合により、コンテンツ配信のためのオンライン学習アルゴリズムにおけるコールドスタート問題を軽減できるのか？

主な発見

• プロンプトベースのLLMアプローチは、より良い見出しを特定する能力が最大で65%にとどまり、このタスクでは低い性能であることが示された。
• OpenAI埋め込みベースの分類モデルとファインチューニングされたLlama-3-8bモデルは、82〜84%の同等の正確性を達成し、ランダムな推測（50%の期待値）を著しく上回った。
• 2回のアンケート調査による人間の判断は、それぞれ45.22%および51.58%の正確性を示し、ニュースを読む頻度のグループ間で有意差は認められず、ランダムな推測に大きな優位性を示さなかった。
• LOLAは、後悔低減とクリックスルーレート最適化の観点で、標準的なA/Bテスト、純粋なバンディットアルゴリズム、および純粋なLLM手法を上回った。特に低トラフィックまたは高アーム状況で顕著な優位性を示した。
• LLMとバンディットアルゴリズムの統合により、初期段階の後悔が顕著に低減された。これは、LLMが初期のトラフィック割り当てをガイドすることで、コールドスタート問題を緩和したためである。
• LOLAは、ニュース、ソーシャルメディア、デジタル広告など、ユーザー参加が重要な指標となる多様なデジタルコンテンツ環境において、スケーラビリティと広範な適用性を示した。