[논문 리뷰] A new Hedging algorithm and its application to inferring latent random variables

Yoav Freund, Daniel Hsu|ArXiv.org|2008. 06. 30.

Advanced Bandit Algorithms Research참고 문헌 8인용 수 5

한 줄 요약

이 논문은 누적 할인 수익을 위한 새로운 온라인 학습 알고리즘인 NormalHedge를 소개한다. 이 알고리즘은 마스터 알고리즘보다 성능이 열 劣한 전문가에게는 0의 가중치를 할당하고, 성과 기반 가중치 부여 방식을 사용한다. 이는 $ R_i^j \leq \sqrt{\frac{8\ln(2.32N)}{\alpha}} $ 의 리그레트 경계를 달성하며, 전문가 수 $ N $ 을 사전에 알 필요 없이 성립한다. 또한 이 프레임워크는 $ L_1 $ 손실 하에서 HMM의 잠재 변수 추론에 적용된다.

ABSTRACT

We present a new online learning algorithm for cumulative discounted gain. This learning algorithm does not use exponential weights on the experts. Instead, it uses a weighting scheme that depends on the regret of the master algorithm relative to the experts. In particular, experts whose discounted cumulative gain is smaller (worse) than that of the master algorithm receive zero weight. We also sketch how a regret-based algorithm can be used as an alternative to Bayesian averaging in the context of inferring latent random variables.

연구 동기 및 목표

• 전체 할인 수익에서 낮은 리그레트를 달성하는 온라인 헤징 알고리즘을 개발하여 전문가 수 $ N $ 을 사전에 알 필요 없이 작동하도록 하는 것.
• 확률 모델에서 잠재 랜덤 변수를 추론하기 위한 베이지안 평균화의 성과 기반 대안을 제공하는 것.
• 표준 베이지안 방법이 실패할 수 있는 $ L_1 $ 손실 하에서 은닉 상태의 강건한 추론을 가능하게 하는 것.
• 잠재 함수의 매개수 $ c $ 가 수행에 미치는 영향을 분석함으로써 이론적 경계와 실용적 성능 간 격차를 메우는 것.

제안 방법

• 각 전문가 $ i $ 의 리그레트 $ R_i^j $ 를 기반으로 가중치를 할당하며, $ R_i^j \leq 0 $ 인 경우 0의 가중치를 부여하고, 그 외의 경우 양수의 가중치를 할당한다.
• 가중치는 $ R_i^j > 0 $ 인 경우 $ w_i^j = R_i^j \exp\left(\frac{\alpha (R_i^j)^2}{8}\right) $ 로 정의되며, 정규화를 통해 헤징 분포 $ p_i^j $ 를 형성한다.
• 잠재 함수 $ \Phi(x) $ 는 매개수 $ c=4 $ 를 사용하며, $ x>0 $ 인 경우 $ \exp(x^2/8) $ 으로 정의되고, 그 외의 경우 1이다.
• 모델의 가능한 매개수 벡터에 전문가를 연결함으로써 HMM에 알고리즘을 적용한다. 각 전문가의 자신감은 해당 상태의 사후 확률이다.
• 반복 단위의 $ L_1 $ 손실이 유한하므로, 이는 NormalHedge의 리그레트 보장과 호환되며, 로그우도 손실과는 다르다.
• 분석 결과, 소규모 $ \alpha $ 에서도 누적 리그레트가 $ \sqrt{\frac{8\ln(2.32N)}{\alpha}} $ 로 균일하게 유한하게 유지되며, $ N $ 을 사전에 알 필요 없이 성립한다.

실험 결과

연구 질문

• RQ1 전체 전문가 수 $ N $ 를 알지 못해도 유한한 리그레트를 달성할 수 있는 성과 기반 온라인 학습 알고리즘을 설계할 수 있는가?
• RQ2 이러한 알고리즘을 HMM과 같은 확률 모델의 잠재 랜덤 변수 추론에 어떻게 적용할 수 있는가?
• RQ3 잠재 함수 매개수 $ c $ 의 이론적 경계와 실용적 하한 사이의 성능 격차는 무엇인가?
• RQ4 진짜 모델이 가설 집합에 포함되지 않을 때, $ L_1 $ 손실 하에서 NormalHedge가 베이지안 평균화를 능가하는가?
• RQ5 게임의 연속 시간 근사에서 새로운 통찰을 도출하기 위해 분석할 수 있는가?

주요 결과

• NormalHedge 알고리즘은 $ R_i^j \leq \sqrt{\frac{8\ln(2.32N)}{\alpha}} $ 의 균일한 리그레트 경계를 달성하며, 사전에 $ N $ 을 알 필요 없이 성립한다.
• 할인 누적 수익이 마스터보다 열 劣한 전문가에게는 0의 가중치를 할당함으로써 강건성이 향상된다.
• 진짜 모델이 가설 집합에 포함되지 않을 때, $ L_1 $ 손실 하에서 이론적 누적 손실이 유한하지 않을 수 있는 베이지안 평균화보다 성능이 뛰어나다.
• 잠재 함수 매개수 $ c $ 는 1 이상 4 이하로 제한되며, $ \alpha \to 0 $ 근처에서는 더 좁은 경계 $ c=2 $ 를 가진다.
• 각 매개수 벡터를 전문가로 간주하고 사후 확률에서 유도된 자신감을 기반으로 은닉 상태의 효과적인 추론이 가능해진다.
• 진짜 데이터 생성 과정과 완벽하게 일치하는 전문가가 없더라도, 알고리즘은 집합 내에서 가장 잘 성과를 내는 전문가로 수렴한다.