[논문 리뷰] Making Contextual Decisions with Low Technical Debt

Alekh Agarwal, Sarah Bird외 10명|arXiv (Cornell University)|2016. 06. 13.

Advanced Bandit Algorithms Research참고 문헌 33인용 수 79

한 줄 요약

이 논문은 실시간 의사결정을 가능하게 하며, 재현 가능하고 확장 가능한 온라인 학습을 보장하는 일반 목적의 시스템인 Decision Service를 소개한다. 이 시스템은 네 가지 통합된 추상화(abstraction)인 탐색(explore), 기록(log), 학습(learn), 배포(deploy)를 통해 기술적 부채를 최소화한다. 컨텍스트 bandit 학습을 위한 시스템으로, 콘텐츠 추천에서 25–30%의 클릭률 향상과 랜딩 페이지 최적화에서 18%의 수익 증가를 달성했다.

ABSTRACT

Applications and systems are constantly faced with decisions that require picking from a set of actions based on contextual information. Reinforcement-based learning algorithms such as contextual bandits can be very effective in these settings, but applying them in practice is fraught with technical debt, and no general system exists that supports them completely. We address this and create the first general system for contextual learning, called the Decision Service. Existing systems often suffer from technical debt that arises from issues like incorrect data collection and weak debuggability, issues we systematically address through our ML methodology and system abstractions. The Decision Service enables all aspects of contextual bandit learning using four system abstractions which connect together in a loop: explore (the decision space), log, learn, and deploy. Notably, our new explore and log abstractions ensure the system produces correct, unbiased data, which our learner uses for online learning and to enable real-time safeguards, all in a fully reproducible manner. The Decision Service has a simple user interface and works with a variety of applications: we present two live production deployments for content recommendation that achieved click-through improvements of 25-30%, another with 18% revenue lift in the landing page, and ongoing applications in tech support and machine failure handling. The service makes real-time decisions and learns continuously and scalably, while significantly lowering technical debt.

연구 동기 및 목표

• 온라인 추천 및 랭킹과 같은 상호작용적이고 피드백 기반 응용 프로그램에서 발생하는 높은 기술적 부채를 해결하기 위해.
• 부분 피드백으로 인한 편향된 데이터, 지연된 보상, 강화학습 시스템의 약한 디버깅 기능 등의 실패 모드를 극복하기 위해.
• 컨텍스트 기반 의사결정의 전 주기를 지원하는 일반 목적의 시스템을 설계하기 위해: 탐색, 기록, 학습, 배포.
• 기존 A/B 테스트 대비 동일한 데이터 비용으로 지수적으로 더 많은 정책을 평가할 수 있는 다중세계 테스트(MWT)를 컨텍스트 밴딧을 통해 효율적으로 구현하기 위해.
• 시스템 수준의 추상화를 통해 탐색과 배포 로직을 분리함으로써 데이터 정확성, 재현 가능성, 실시간 보호 조치를 확보하기 위해.

제안 방법

• 컨텍스트 기반 의사결정을 위한 폐쇄형 루프 아키텍처를 형성하는 네 가지 핵심 시스템 추상화—탐색, 기록, 학습, 배포—를 도입한다.
• 랜덤화된, 편향되지 않은 행동 탐색을 보장하기 위해 전용 '탐색' 추상화를 사용하여 정책 이탈과 데이터 편향을 방지한다.
• 정확한 타이밍과 기록 출처를 포함한 전체 컨텍스트-행동-보상 삼중항을 기록하는 '기록' 추상화를 구현하여 재현 가능한 학습과 디버깅을 가능하게 한다.
• 기록과 학습을 분리하여 지연된 보상과 분산된 데이터 수집을 지원함으로써 데이터 파이프라인 오류를 감소시킨다.
• 실시간 정책 업데이트와 함께 온라인 학습을 통합하여 환경과 사용자 행동의 변화에 지속적으로 적응할 수 있도록 한다.
• 컨텍스트 밴딧 알고리즘을 활용해 다중세계 테스트(MWT)를 구현하여 A/B 테스트 대비 지수적으로 더 효율적인 정책 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 생산 환경의 머신러닝 시스템에서 기술적 부채를 최소화하면서도 컨텍스트 밴딧 학습을 지원할 수 있는 일반 목적의 시스템을 어떻게 설계할 수 있는가?
• RQ2 상호작용적이고 부분 관측 가능한 피드백 환경에서 정확하고 편향 없으며 재현 가능한 데이터 수집을 보장하기 위해 필요한 시스템 추상화는 무엇인가?
• RQ3 지연되고 분산된 보상 수집을 어떻게 견고하게 처리할 수 있을까? 이를 통해 편향을 방지하고 신뢰할 수 있는 모델 학습을 보장할 수 있는가?
• RQ4 기존 A/B 테스트에 비해 데이터 효율성과 정책 평가 규모 측면에서, 컨텍스트 밴딧을 통한 다중세계 테스트(MWT)는 어느 정도 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 탐색에서 배포까지의 루프를 닫는 통합 시스템은 실제 머신러닝 응용의 신뢰성과 성능을 크게 향상시킬 수 있는가?

주요 결과

• Decision Service는 컨텍스트 밴딧 학습을 활용해 두 개의 실시간 콘텐츠 추천 시스템에서 클릭률을 25–30% 향상시켰다.
• 랜딩 페이지 최적화 배포에서 18%의 수익 증가가 관측되어 시스템의 실질적인 비즈니스 영향을 입증했다.
• 시스템은 머신러닝 실험의 완전한 재현 가능성을 보장하여, Vowpal Wabbit에서 잘못된 보상 범위 처리 문제와 같은 모델 버그를 특정 구성 요소로 고립함으로써 신속한 진단을 가능하게 했다.
• 다중세계 테스트(MWT)를 지원함으로써 A/B 테스트 대비 동일한 데이터 비용으로 지수적으로 더 많은 정책을 평가할 수 있었고, 이는 데이터 효율성의 급격한 향상을 가져왔다.
• 모듈화된 추상화 덕분에 탐색, 기록, 학습, 배포를 분리함으로써 기술적 부채를 감소시켰고, 생산 환경에서 안전하고 확장 가능하며 감사 가능한 머신러닝 운영을 가능하게 했다.