[논문 리뷰] Online Learning in Contextual Bandits using Gated Linear Networks

Eren Sezener, Marcus Hütter외 3명|arXiv (Cornell University)|2020. 02. 21.

Advanced Bandit Algorithms Research참고 문헌 26인용 수 8

한 줄 요약

이 논문은 Gated Linear Contextual Bandits(GlCB)를 제안하며, 이는 Gated Linear Networks(GLNs)를 활용하여 연속적인 탐색을 효율적이고 불확실성 인식 가능하게 구현하는 온라인 알고리즘이다. GLNs의 반공간 게이팅 구조를 활용함으로써, GLCB는 SimHash 기반 서명을 통해 확장 가능한 데이터 의존적 탐색을 위한 가짜 카운트를 계산하며, 알고리즘적 오버헤드 없이 이를 구현하여 이산적 및 연속적 밴디트 벤치마크에서 최신 기술 수준의 성능을 달성하면서도 완전히 온라인 상태를 유지한다.

ABSTRACT

We introduce a new and completely online contextual bandit algorithm called Gated Linear Contextual Bandits (GLCB). This algorithm is based on Gated Linear Networks (GLNs), a recently introduced deep learning architecture with properties well-suited to the online setting. Leveraging data-dependent gating properties of the GLN we are able to estimate prediction uncertainty with effectively zero algorithmic overhead. We empirically evaluate GLCB compared to 9 state-of-the-art algorithms that leverage deep neural networks, on a standard benchmark suite of discrete and continuous contextual bandit problems. GLCB obtains median first-place despite being the only online method, and we further support these results with a theoretical study of its convergence properties.

연구 동기 및 목표

• 효율적이고 불확실성 기반 탐색을 지원하는 완전한 온라인 컨텍스트 밴디트 알고리즘을 개발하는 것.
• 컨텍스트 밴디트에서 오프라인 딥 페처 추출 및 비온라인 베이지안 신경망 방법의 한계를 극복하는 것.
• GLN 게이팅 구조에서 유도된 데이터 의존적 가짜 카운트를 사용하여 고차원 컨텍스트에서 확장 가능한 탐색을 가능하게 하는 것.
• GLN 게이팅의 인덕티브 바이어스를 활용하여 탐색을 모델 불확실성과 밀접하게 연결하는 것.
• 표준 벤치마크에서 최신 기술 수준의 성능을 달성하면서도 온라인 학습 효율성을 유지하는 것.

제안 방법

• GLCB는 반공간 게이팅을 갖춘 Gated Linear Networks(GLNs)를 사용하여 행동-가치 함수를 모델링하며, 이는 보편적인 함수 근사와 구조화된 인덕티브 바이어스를 가능하게 한다.
• GLNs의 게이팅 메커니즘은 탐색을 위한 SimHash 기반 서명을 계산하기 위해 재사용되며, 이 서명은 가짜 카운트를 정의하는 데 사용된다.
• 가짜 카운트는 각 게이팅 유닛마다 유지되며, 컨텍스트 서명 기반으로 점진적으로 갱신되어 고차원 상태 간의 일반화를 가능하게 한다.
• 탐색은 가짜 카운트에서 유도된 UCB 스타일 보너스에 의해 주도되며, 이는 직접적으로 불확실성과 행동 선택을 연결한다.
• 모델 파라미터는 행동 카운트에 따라 감쇠되는 학습률을 사용하여 온라인으로 갱신되며, 이는 안정성과 수렴성을 보장한다.
• 후행 분포 근사나 몬테카를로 샘플링이 필요 없도록, 각 행동에 대해 단일의 지속적으로 갱신되는 GLN을 유지함으로써 비용이 많이 드는 재학습을 피한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 컨텍스트 밴디트 알고리즘이 최신 기술 수준의 성능을 달성하면서도 온라인 학습 능력을 유지할 수 있는가?
• RQ2 GLN 게이팅 구조에서 도출된 가짜 카운트가 고차원 컨텍스트에서 효과적으로 일반화될 수 있는가?
• RQ3 GLN 게이팅과 가짜 카운트의 결합이 표준 베이지안 딥 러닝 방법보다 더 나은 불확실성 추정을 이끌어낼 수 있는가?
• RQ4 비온라인 신경망 베이지안 밴디트 알고리즘보다 이 방법이 다양한 벤치마크에서 평균 성능 측면에서 뛰어나게 성능을 낼 수 있는가?
• RQ5 GLN 기반 가짜 카운트를 사용할 경우 불확실성 추정의 계산 오버헤드가 무시할 만큼 낮은가?

주요 결과

• GLCB는 평가된 모든 벤치마크에서 평균 순위 1위를 기록하며, 9개의 최신 기술 수준의 딥 러닝 기반 컨텍스트 밴디트 알고리즘을 압도한다.
• 비교 대상 중 唯 하나의 완전한 온라인 방법임에도 불구하고, GLCB는 비온라인 베이지안 신경망 방법의 성능을 따라하거나 초월한다.
• GLN 게이팅에서 유도된 가짜 카운트 메커니즘은 낮은 계산 오버헤드로 효과적이고 확장 가능한 탐색을 가능하게 한다.
• 이론적 분석을 통해 UCB 스타일 탐색 전략의 수렴 성질이 강력하게 뒷받침됨을 보였다.
• 그리드 서치를 통한 하이퍼파ram터 튜닝은 합성 및 실세계 데이터셋(베르누이 및 연속적 밴디트 문제 포함) 모두에서 강력한 성능을 도출하였다.
• GLN 게이팅의 국소성 감지 해싱 성질을 활용하여 고차원 컨텍스트 간의 효과적인 일반화를 달성하였다.