[논문 리뷰] A Neural Networks Committee for the Contextual Bandit Problem

Robin Allesiardo, Raphaël Féraud외 1명|arXiv (Cornell University)|2014. 09. 29.

Advanced Bandit Algorithms Research참고 문헌 22인용 수 10

한 줄 요약

이 논문은 선형 관계나 정적 데이터를 가정하지 않고 보상 확률을 모델링하기 위해 다수의 신경망을 사용하는 컨텍스트 밴딧 알고리즘인 NeuralBandit1을 제안한다. NeuralBandit2와 NeuralBandit3를 도입하여, 적대적 밴딧 방법(예: EXP3)을 활용해 실시간으로 성능이 우수한 신경망 모델을 동적으로 선택함으로써, LinUCB, CTS, Banditron보다 낮은 누적 손실을 달성한다. 특히 비정적 데이터 조건에서 뛰어난 성능을 보인다.

ABSTRACT

This paper presents a new contextual bandit algorithm, NeuralBandit, which does not need hypothesis on stationarity of contexts and rewards. Several neural networks are trained to modelize the value of rewards knowing the context. Two variants, based on multi-experts approach, are proposed to choose online the parameters of multi-layer perceptrons. The proposed algorithms are successfully tested on a large dataset with and without stationarity of rewards.

연구 동기 및 목표

• 기존 컨텍스트 밴딧 알고리즘의 선형성 및 정적 가정에 기인한 한계를 해결한다.
• 실제 응용 분야(예: 온라인 광고)에서 흔한 비정적 데이터 분포에 적응할 수 있는 강건한 컨텍스트 밴딧 방법을 개발한다.
• 신경망의 보편적 근사 능력을 활용해 복잡한 비선형 보상-컨텍스트 관계를 모델링한다.
• 적대적 밴딧(예: EXP3)을 활용한 모델 선택 메커니즘을 도입하여 실시간으로 성능이 뛰어난 신경망 구성 요소를 동적으로 선택한다.
• 제안된 방법이 정적 및 비정적 데이터 스트림에서 모두 성능을 평가하여 강건성과 적응 능력을 입증한다.

제안 방법

• 각 액션에 대해 하나의 신경망을 학습시켜, 주어진 컨텍스트 하에서 보상이 발생할 확률을 추정한다. 이들 신경망은 하나의 은닉층을 가진다.
• 변화하는 보상 분포에 적응할 수 있도록 온라인 학습을 위한 확률적 경사 하강법을 사용한다.
• 다양한 은닉층 크기와 정규화 파라미터를 가진 사전 설정된 다수의 신경망 모델 간에 EXP3 알고리즘을 적용하여 탐색과 이용의 균형을 이룬다.
• NeuralBandit2에서는 각 액션에 대해 하나의 EXP3 인스턴스를 유지하여 해당 액션에 가장 적합한 모델을 선택한다.
• NeuralBandit3에서는 각 액션에 대해 별도의 EXP3 인스턴스를 사용하여 모델 선택을 독립적으로 수행함으로써 모델 다양성과 강건성을 높인다.
• 관측된 보상에 기반해 네트워크 가중치를 확률적 경사 하강법으로 업데이트하고, 모델 선택 가중치는 EXP3의 손실 기반 피드백을 사용해 업데이트한다.

실험 결과

연구 질문

• RQ1 동적 모델 선택 기반의 신경망 위원회가 비정적 환경에서 선형 및 정적 컨텍스트 밴딧 알고리즘을 능가할 수 있는가?
• RQ2 공유된(네트워크 기반) 모델 선택(NeuralBandit2)과 액션별로 독립된 모델 선택(NeuralBandit3) 간의 선택 방식이 성능 및 개념 이동에 대한 강건성에 어떤 영향을 미치는가?
• RQ3 비볼록 손실 함수를 가진 신경망이 복잡한 실제 데이터 스트림에서 선형 모델(LinUCB, CTS)보다 더 낮은 손실 성능을 달성할 수 있는가?
• RQ4 적대적 밴딧 방법(예: EXP3)을 사용한 모델 선택이 변화하는 데이터 분포에 효과적으로 온라인 적응을 가능하게 하는가?
• RQ5 제안된 알고리즘이 정적 및 비정적 변형의 숲 커버 타입 데이터셋에서 수렴 속도와 누적 손실 측면에서 어떻게 비교되는가?

주요 결과

• NeuralBandit2는 정적 데이터에서 가장 빠른 수렴 속도와 가장 낮은 누적 손실(76% 분류 정확도)을 기록했으며, LinUCB(72%), CTS(73%), Banditron(57%)을 모두 능가했다.
• 500,000 반복마다 개념 이동이 발생하는 비정적 데이터에서, NeuralBandit2와 NeuralBandit3는 LinUCB와 CTS보다 낮은 손실을 유지했으며, 첫 번째 이동 이후 LinUCB와 CTS는 적응하지 못했다.
• NeuralBandit3는 각 액션에 대해 다수의 독립된 모델을 활용함으로써 NeuralBandit2보다 더 높은 강건성을 보였으며, 낮은 국소 최적점에 갇힐 위험을 줄였다.
• Banditron은 정적 및 비정적 데이터 모두에서 성능이 열악했으며, 마지막 100,000개 예측에서 57%의 분류 정확도를 기록하여 선형 모델의 복잡한 환경에서의 한계를 보여주었다.
• 제안된 모델 선택 메커니즘(예: EXP3 사용)은 효과적인 온라인 적응을 가능하게 했으며, NeuralBandit2와 NeuralBandit3는 각 개념 이동 이후 75,000에서 350,000단계 내에 안정화되었다.
• 비볼록 손실 함수를 가진 신경망 모델의 사용은 복잡한 비선형 보상-컨텍스트 관계를 더 잘 표현할 수 있었지만, 이는 이론적 손실 경계를 상실하는 비용을 수반했다.