[논문 리뷰] Tsetlin Machine for Solving Contextual Bandit Problems

Raihan Seraj, Jivitesh Sharma외 1명|arXiv (Cornell University)|2022. 02. 04.

Machine Learning and Algorithms인용 수 5

한 줄 요약

이 논문은 문맥적 밴디트 알고리즘을 제안하며, Tsetlin Machine(TM)을 사용하여 문맥적 결정을 위한 문장 논리 기반의 의사결정을 비트 연산을 통해 수행하고, Thompson 샘플링을 적용한다. 실험적으로, TM 기반 학습기는 아홉 데이터셋 중 여덟 개에서 다른 기반 학습기보다 우수한 성능을 보였으며, 학습된 문장 표현식을 통해 암호화된 결정 과정을 투명하게 해석할 수 있다.

ABSTRACT

This paper introduces an interpretable contextual bandit algorithm using Tsetlin Machines, which solves complex pattern recognition tasks using propositional logic. The proposed bandit learning algorithm relies on straightforward bit manipulation, thus simplifying computation and interpretation. We then present a mechanism for performing Thompson sampling with Tsetlin Machine, given its non-parametric nature. Our empirical analysis shows that Tsetlin Machine as a base contextual bandit learner outperforms other popular base learners on eight out of nine datasets. We further analyze the interpretability of our learner, investigating how arms are selected based on propositional expressions that model the context.

연구 동기 및 목표

• 문장 논리 기반의 결정을 통해 높은 성능과 해석 가능성의 조합을 갖춘 문맥적 밴디트 알고리즘을 개발하는 것.
• 논리 기반 패턴 식별기인 Tsetlin Machine을 온라인 및 점진적 학습 환경인 문맥적 밴디트 설정에 적응시키는 것.
• 비모수적이고 논리 기반의 학습기인 Tsetlin Machine에 대해 부트스트래핑 기법을 활용해 Thompson 샘플링을 구현하는 것.
• 학습된 문장 표현식에서 유도된 명확한 논리 표현식을 통해 암호화된 선택 정책을 제공하는 것.
• 다양한 데이터셋에서 유명한 기반 학습기들과의 비교를 통해 TM 기반 밴디트의 실험적 유효성을 검증하는 것.

제안 방법

• 각 암호화된 선택 정책은 입력 특징 및 그 부정을 포함한 문장의 논리적 AND 조합을 논리적 OR로 조합한, 귀납형 정규형(DNF) 표현식으로 표현된다.
• 각 암호화된 선택 정책은 문장 논리 문장의 조합으로 표현되며, 이는 입력 특징 및 그 부정의 논리적 AND 조합을 논리적 OR로 조합한 형태이다.
• 비트 수준 연산을 사용하여 문장 평가를 효율적으로 계산함으로써, 신속하고 해석 가능한 추론을 가능하게 한다.
• Thompson 샘플링은 부트스트래핑을 통해 구현되며, 여러 개의 TM이 재표본화된 데이터로 훈련되어 암호화된 값에 대한 사후 분포를 추정한다.
• 최종 암호화된 선택은 TM 예측의 사후 분포에서 샘플링하여 수행되며, 가장 높은 점수를 받은 암호화된 선택이 결정된다.
• 학습된 문장 표현식을 추출하고 분석함으로써, 각 문맥에 대한 암호화된 선택 정책의 해석 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 Tsetlin Machine은 문맥적 밴디트 문제의 기반 학습기로 효과적으로 적응시킬 수 있는가?
• RQ2 비모수적이고 논리 기반의 모델인 Tsetlin Machine에 대해 어떻게 Thompson 샘플링을 구현할 수 있는가?
• RQ3 Tsetlin Machine 기반 문맥적 밴디트가 누적 회귀 측정 기준에서 기존 기반 학습기보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 Tsetlin Machine이 생성한 암호화된 선택 정책은 문장 논리 표현식 기반으로 얼마나 해석 가능한가?
• RQ5 문맥 이진화의 성능에 대한 영향은 무엇이며, 모델의 내재된 해석 가능성과 효율성으로 이를 상쇄할 수 있는가?

주요 결과

• Tsetlin Machine 기반 문맥적 밴디트는 누적 회귀 측정 기준에서 아홉 개의 벤치마크 데이터셋 중 여덟 개에서 다른 기반 학습기보다 뛰어난 성능을 보였다.
• 비트 수준 연산과 효율적인 문장 평가 덕분에 계산 복잡도가 크게 감소한 채로 경쟁적인 성능을 달성했다.
• 해석 가능성은 직접적으로 문맥 특징과 암호화된 선택을 연결하는 명확한 문장 논리 표현식을 통해 입증되었으며, 예를 들어 Iris 데이터셋에서 Arm-1에 대해 'x10 ∨ x14 ∨ x15 ∨ x3'와 같은 표현식이 사용되었다.
• 부트스트래핑된 TM의 사용은 비모수적 환경에서 효과적인 Thompson 샘플링을 가능하게 하였으며, 성능 유지를 유지하면서도 해석 가능성을 확보하였다.
• 문맥 이진화가 필요했음에도 불구하고 모델은 강력한 성능을 유지하였으며, 이는 논리적 추상화가 핵심 패턴을 효과적으로 포착하고 있음을 시사한다.
• 모델의 해석 가능성 덕분에 사용자는 논리 규칙을 통해 결정 과정을 추적할 수 있으며, 예를 들어 '¬x10 ∨ ¬x11 ∨ ¬x15 ∨ (x1 ∧ ¬x12 ∧ ...)'와 같은 논리 규칙을 통해 선택 논리에 대한 명확한 통찰을 확보할 수 있다.