[논문 리뷰] Explore-Exploit: A Framework for Interactive and Online Learning

Honglei Liu, Anuj Kumar외 2명|arXiv (Cornell University)|2018. 12. 01.

Advanced Bandit Algorithms Research참고 문헌 13인용 수 3

한 줄 요약

Explore-Exploit은 실시간 및 상호작용형 기계학습을 위한 프로덕션 수준의 프레임워크로, 사용자 경험 저하를 최소화하기 위해 탐색과 이용을 균형 잡는다. 하이퍼파라미터 튜닝, 액티브 러닝, 강화학습 등의 작업에서 구성 가능한 온라인 학습 연산자(예: UCB1Enhanced 및 에프실론-그리디)를 사용하여 최적 설정에 자동으로 수렴하며, 이는 수주가 아닌 수일 내에 달성된다.

ABSTRACT

Interactive user interfaces need to continuously evolve based on the interactions that a user has (or does not have) with the system. This may require constant exploration of various options that the system may have for the user and obtaining signals of user preferences on those. However, such an exploration, especially when the set of available options itself can change frequently, can lead to sub-optimal user experiences. We present Explore-Exploit: a framework designed to collect and utilize user feedback in an interactive and online setting that minimizes regressions in end-user experience. This framework provides a suite of online learning operators for various tasks such as personalization ranking, candidate selection and active learning. We demonstrate how to integrate this framework with run-time services to leverage online and interactive machine learning out-of-the-box. We also present results demonstrating the efficiencies that can be achieved using the Explore-Exploit framework.

연구 동기 및 목표

• 실시간 프로덕션 환경에서 지속적으로 변화하는 사용자 선호도에 대응하기 위해 시스템을 적응시키는 도전 과제를 해결한다.
• 온라인 학습 중 열악한 탐색으로 인한 사용자 경험 저하를 최소화한다.
• 아키텍처 전반의 개선 없이도 기존 런타임 서비스에 상호작용형 및 온라인 학습을 원활하게 통합할 수 있도록 한다.
• 랭킹, 후보 선택, 하이퍼파라미터 튜닝, 액티브 러닝과 같은 다양한 학습 작업을 구성 가능한 플러그 앤 플레이 연산자로 지원한다.
• 고도의 관련성과 사용성 유지하면서 피드백 기반 모델 적응을 자동화하는 프로덕션 수준의 시스템을 제공한다.

제안 방법

• 모든 런타임 시스템이 최소한의 결합도로 탐색 기능을 선택적으로 활성화하거나 비활성화할 수 있는 구독 기반 서비스 아키텍처를 설계한다.
• 학습 목표를 봉인하기 위해 트랜스포머, 연산자, 피드백 수령기, 메타데이터를 포함한 탐색 대상(Exploration Target)을 정의한다.
• 에프실론-그리디, UCB1, 쿠르트지 샘플링, 그리고 타겟 특정 최적화를 위한 새로운 UCB1Enhanced 변형을 포함한 온라인 학습 연산자를 구현한다.
• UCB1Enhanced 연산자를 사용하여 보상 기반 목표 함수를 통해 탐색과 이용을 균형 잡으며, 목표 지표(예: CTR = 0.11)에서의 이격을 처벌한다.
• 실시간 사용자 피드백 신호를 로그 및 처리하여 후보 선택과 모델 파라미터를 동적으로 조정한다.
• 스트림 기반 및 풀 기반 액티브 러닝을 모두 지원하며, 강화학습 및 AutoML 워크플로우와 통합한다.

실험 결과

연구 질문

• RQ1 실시간 프로덕션 시스템에서 탐색과 이용을 효과적으로 균형 잡는 방법은 무엇인가, 이를 통해 사용자 경험 저하를 방지할 수 있는가?
• RQ2 시스템 전체 변경 없이도 기존 런타임 서비스에 온라인 학습을 원활하게 통합할 수 있는 아키텍처 패턴은 무엇인가?
• RQ3 온라인 학습을 통한 자동 하이퍼파라미터 튜닝이 수동 튜닝보다 더 빠르고 신뢰성 있게 최적 설정에 수렴할 수 있는가?
• RQ4 UCB1Enhanced 연산자가 온라인 학습 환경에서 손실 최소화와 함께 목표 성능 지표(예: CTR)를 달성하는 데 얼마나 효과적인가?
• RQ5 통합 프레임워크가 랭킹, 액티브 러닝, 강화학습과 같은 다양한 학습 작업을 프로덕션 환경에서 얼마나 넓게 지원할 수 있는가?

주요 결과

• Explore-Exploit 프레임워크는 목표 CTR 0.11을 설정한 개인화 모델에 대해 최적의 임계치(0.12)로 자동 수렴시키며, 수주에서 수일로 수동 튜닝 시간을 단축시켰다.
• 일부 운영 일수 후 시스템은 목표 보상에서 상대적 이격이 가장 작은 후보(0.12, 이격 ≈ 0)로 수렴하여 학습 과정의 정확성을 확인했다.
• 초기 탐색은 후보 간 균일하게 이루어져 수렴 전에 편향 없는 데이터 수집을 보여주었으며, 이는 학습 과정의 타당성을 뒷받침한다.
• 프레임워크는 다수의 모델에 걸쳐 수동 A/B 테스트 및 반복적인 임계치 튜닝이 필요 없어져 엔지니어링 노력이 크게 감소했다.
• UCB1Enhanced 연산자는 잠재력이 높은 후보를 효과적으로 우선순위로 배치하여 손실을 최소화하면서도 탐색되지 않은 옵션을 유지했다.
• 구독 기반 설계 덕분에 온라인 학습 기능의 도입 및 제거가 용이해 다양한 서비스 간에 탄력적인 배포가 가능했다.