[논문 리뷰] LOLA: LLM-Assisted Online Learning Algorithm for Content Experiments

Zikun Ye, Hema Yoganarasimhan외 1명|arXiv (Cornell University)|2024. 06. 03.

Online Learning and Analytics인용 수 4

한 줄 요약

LOLA는 실시간 콘텐츠 배달 최적화를 위해 대규모 언어 모델(Large Language Models, LLMs)과 상한 신뢰도(UCB) 밴딧 알고리즘을 통합한 새로운 온라인 학습 알고리즘이다. LLM 기반 헤드라인 순위 매기기와 적응형 트래픽 할당을 결합함으로써 LOLA는 회귀(regret)를 감소시키고, 표준 A/B 테스트, 순수한 밴딧 방법, 독립적인 LLM보다 뛰어나며, 헤드라인 선택에서 최대 84%의 정확도를 달성하고, 저트래픽 또는 고암수(high-arm) 환경에서 클릭률을 크게 향상시킨다.

ABSTRACT

Modern media firms require automated and efficient methods to identify content that is most engaging and appealing to users. Leveraging a large-scale dataset from Upworthy (a news publisher), which includes 17,681 headline A/B tests, we first investigate the ability of three pure-LLM approaches to identify the catchiest headline: prompt-based methods, embedding-based methods, and fine-tuned open-source LLMs. Prompt-based approaches perform poorly, while both OpenAI-embedding-based models and the fine-tuned Llama-3-8B achieve marginally higher accuracy than random predictions. In sum, none of the pure-LLM-based methods can predict the best-performing headline with high accuracy. We then introduce the LLM-Assisted Online Learning Algorithm (LOLA), a novel framework that integrates Large Language Models (LLMs) with adaptive experimentation to optimize content delivery. LOLA combines the best pure-LLM approach with the Upper Confidence Bound algorithm to allocate traffic and maximize clicks adaptively. Our numerical experiments on Upworthy data show that LOLA outperforms the standard A/B test method (the current status quo at Upworthy), pure bandit algorithms, and pure-LLM approaches, particularly in scenarios with limited experimental traffic. Our approach is scalable and applicable to content experiments across various settings where firms seek to optimize user engagement, including digital advertising and social media recommendations.

연구 동기 및 목표

• 짧은 기사 수명 주기로 인해 모든 헤드라인에 동일한 트래픽을 할당하는 표준 A/B 테스트의 비효율성 문제를 해결하기 위해.
• 초기 탐색 과정에서 열열(arm)이 최적의 성능을 내지 못함에도 불구하고 과도하게 많은 트래픽을 받는 온라인 밴딧 알고리즘의 쿨스타트 문제(cold-start problem)를 극복하기 위해.
• 헤드라인의 매력도를 식별하는 데 있어 순수한 LLM 기반 접근법(프롬프팅, 임베딩, 파인튜닝)의 성능을 평가하기 위해.
• LLM을 통한 초도 순위 매기기와 밴딧 알고리즘을 통한 적응형 트래픽 할당을 융합한 하이브리드 프레임워크인 LOLA를 설계하고 검증하여 클릭 수를 최대화하기 위해.
• 다양한 디지털 콘텐츠 환경, 즉 뉴스, 소셜 미디어, 광고 등에서 LOLA의 확장성과 효과성을 입증하기 위해.

제안 방법

• LOLA는 OpenAI 임베딩을 사용하여 예측된 클릭률(CTR) 차이를 기반으로 헤드라인 쌍을 분류하며, 더 잘 성과를 내는 헤드라인을 식별하는 데 약 82-84%의 정확도를 달성한다.
• 가장 성능이 뛰어난 LLM 기반 분류기와 상한 신뢰도(UCB) 밴딧 알고리즘을 통합하여, 추정된 성능와 불확실성에 기반해 트래픽을 동적으로 할당한다.
• 알고리즘은 각 헤드라인에 대해 LLM이 생성한 신뢰도 점수로 시작하며, UCB를 통해 탐색과 이용의 균형을 맞추며, 높은 기대 수익과 높은 불확실성을 가진 암수(arm)를 우선순위로 삼는다.
• LOLA는 17,681개의 Upworthy 헤드라인 A/B 테스트로 구성된 대규모 데이터셋에서 훈련 및 평가되었으며, 각 테스트는 동일한 기사에 대해 여러 헤드라인을 비교한다.
• 시간이 지남에 따라 트래픽 할당이 더 성과가 좋은 헤드라인 쪽으로 적응적으로 이동하여, 회귀를 최소화하고 전체 클릭 수확량을 향상시킨다.
• 이 프레임워크는 디지털 광고, 소셜 미디어, 뉴스 추천 시스템 등 다양한 콘텐츠 최적화 환경에 확장 가능하고 일반화 가능하도록 설계되었다.

실험 결과

연구 질문

• RQ1 순수한 LLM 기반 접근법(프롬프팅, 임베딩, 파인튜닝)은 두 헤드라인 중 더 매력적인 것을 식별하는 데 얼마나 잘 작동하는가?
• RQ2 LLM 기반 모델은 헤드라인 선택에서 랜덤 추측을 초월할 수 있는가? 인간의 판단과 비교해보면 어떠한가?
• RQ3 LLM 기반 순위 매기기와 밴딧 알고리즘을 융합하면 표준 A/B 테스트 및 순수한 밴딧 방법보다 회귀를 줄일 수 있는가?
• RQ4 LOLA는 저트래픽 또는 고암수(content experimentation) 환경에서 어떻게 성능을 내는가?
• RQ5 LLM의 통합은 콘텐츠 배달을 위한 온라인 학습 알고리즘의 쿨스타트 문제를 완화시킬 수 있는가?

주요 결과

• 프롬프트 기반 LLM 접근법은 최대 65%의 정확도를 기록하며, 이는 이 작업에 있어 열악한 성능을 의미한다.
• OpenAI 임베딩 기반 분류 모델과 파인튜닝된 Llama-3-8b 모델은 82-84%의 유사한 정확도를 기록하며, 랜덤 추측(50% 기대값)을 크게 뛰어넘는다.
• 두 설문 조사에서 인간의 판단은 각각 45.22%와 51.58%의 정확도를 기록했으며, 뉴스 읽기 빈도 그룹 간 유의미한 차이가 없었고, 랜덤 추측과도 유의미한 차이가 없었다.
• LOLA는 회귀 감소 및 클릭률 최적화 측면에서 표준 A/B 테스트, 순수한 밴딧 알고리즘, 순수한 LLM 방법보다 뛰어나며, 특히 저트래픽 또는 고암수 환경에서 두각을 나타낸다.
• LLM과 밴딧 알고리즘을 융합함으로써 초기 회귀가 크게 감소하였으며, LLM이 초도 트래픽 할당을 안내함으로써 쿨스타트 문제를 완화시켰다.
• LOLA는 뉴스, 소셜 미디어, 디지털 광고 등 사용자 참여가 핵심 지표인 다양한 디지털 콘텐츠 환경에서 확장성과 광범위한 적용 가능성을 입증하였다.