[논문 리뷰] Online Prediction with Selfish Experts

Tim Roughgarden, Okke Schrijvers|arXiv (Cornell University)|2017. 02. 13.

Advanced Bandit Algorithms Research인용 수 3

한 줄 요약

이 논문은 신뢰도를 극대화하고자 하는 이기적인 전문가들이 있는 온라인 예측의 형식적 모델을 제안하며, 손실 함수가 절대 손실인 경우, 보상 규칙을 사용하여 설계된 인centив 커플리티(incetive-compatible, IC) 알고리즘들이 최소화된 불만족도를 달성하는 데 필수적임을 보여준다. 또한 절대 손실 하에서 임의의 알고리즘(IC이든 아니든)이 渐진적으로 사라지는 불만족도를 달성할 수 없음을 증명하여, 정직한 전문가가 존재하는 경우와의 근본적인 차이를 규명한다.

ABSTRACT

We consider the problem of binary prediction with expert advice in settings where experts have agency and seek to maximize their credibility. This paper makes three main contributions. First, it defines a model to reason formally about settings with selfish experts, and demonstrates that "incentive compatible" (IC) algorithms are closely related to the design of proper scoring rules. Designing a good IC algorithm is easy if the designer's loss function is quadratic, but for other loss functions, novel techniques are required. Second, we design IC algorithms with good performance guarantees for the absolute loss function. Third, we give a formal separation between the power of online prediction with selfish experts and online prediction with honest experts by proving lower bounds for both IC and non-IC algorithms. In particular, with selfish experts and the absolute loss function, there is no (randomized) algorithm for online prediction-IC or otherwise-with asymptotically vanishing regret.

연구 동기 및 목표

• 전문가들이 진실을 보고하는 대신 자신의 신뢰도를 극대화하고자 행동하는 온라인 예측 모델을 형식화하는 것.
• 인센티브 커플리티(IC)가 비제곱 손실 함수 하에서 온라인 예측의 성능 보장을 어떻게 영향을 주는지 조사하는 것.
• 특히 절대 손실 함수 하에서, 이기적인 전문가와 정직한 전문가 간의 온라인 예측 성능에 대한 엄밀한 분리를 확립하는 것.
• 표준 방법이 전략적 행동으로 인해 실패하는 절대 손실 함수에 대해, 증명 가능한 성능 보장을 갖는 IC 알고리즘을 설계하는 것.
• IC 및 비-IC 알고리즘에 대한 불만족도에 대한 날카로운 하한을 증명하여, 이기적인 전문가가 존재하는 절대 손실 하에서 어떤 알고리즘도 사라지는 불만족도를 달성할 수 없음을 보여주는 것.

제안 방법

• 전문가들이 진실보다는 명성(신뢰도)을 극대화하기 위해 전략적으로 믿음을 보고하는 온라인 예측의 새로운 모델을 제안한다.
• 인센티브 커플리티(IC)를 전문가가 자신의 진실한 믿음을 보고하도록 보장하는 성질로 정의하며, 이를 형식적으로 적절한 점수 규칙과 연결한다.
• 진실한 믿음을 이끌어내기 위해 적절한 점수 규칙(예: 브리어, 구면, 베타 가족)을 사용하여 IC 알고리즘을 설계한다.
• 표준 손실 기반 업데이트가 아닌, IC 준수 점수 규칙에 따라 전략적 업데이트를 수행하는 랜덤화된 가중 다수결(RWM) 알고리즘을 적용한다.
• 신뢰도가 높고 낮은 상태를 오가는 두 상태의 은닉 마르코프 모델(HMM)을 사용하여 전문가 행동을 시뮬레이션한다.
• 이론적 분석과 시뮬레이션을 통해 IC 알고리즘과 표준 가중치 업데이트 규칙 간의 성능을 비교하며, 후행적으로 최고의 전문가에 대한 불만족도를 측정한다.

실험 결과

연구 질문

• RQ1 전문가들이 이기적일 경우, 특히 그들이 자신의 신뢰도를 극대화하고자 하며, 인센티브 커플리티(IC)를 갖는 온라인 예측 알고리즘을 설계할 수 있는가?
• RQ2 전문가들이 전략적으로 행동할 경우, IC 알고리즘의 성능은 표준 온라인 학습 알고리즘(RWM 등 표준 손실 업데이트 사용)과 비교해 어떻게 되는가?
• RQ3 절대 손실 함수 하에서, 이기적인 전문가가 있는 온라인 예측의 근본적인 한계는 무엇인가?
• RQ4 온라인 예측에서 이기적인 전문가와 정직한 전문가 간의 성능에 대해 증명 가능한 분리가 존재하는가?
• RQ5 IC 알고리즘이 절대 손실 하에서 비선형 불만족도를 달성할 수 있는가, 아니면 본질적인 불가능성 결과가 존재하는가?

주요 결과

• 절대 손실 함수 하에서, 어떤 (랜덤화된) 온라인 예측 알고리즘—IC이든 아니든—이渐진적으로 사라지는 불만족도를 달성할 수 없으며, 이는 근본적인 불가능성을 보여준다.
• 적절한 점수 규칙(예: 브리어, 구면, 베타)을 기반으로 한 IC 알고리즘은 표준 RWM과 비-IC 업데이트에 비해 일관되게 뛰어난 성능을 보이며, T=10,000일 때 불만족도가 1.02 이하로 떨어지고, T=200,000일 때는 1.003에 가까워진다.
• IC와 비-IC 알고리즘 간의 성능 격차는 뚜렷하다: 표준 RWM 알고리즘은 T=200,000일 때 불만족도가 약 1.14를 유지하는 반면, IC 방법은 최고의 전문가 수준에 가까워진다.
• 레미마 20의 하한 $2 + rac{1}{ig floor rac{1}{ heta} ig floor}$ 는 시뮬레이션에서 거의 날카로운 하한이며, 실증적 불만족도는 $2 + heta$ 를 거의 정확히 따라간다.
• 시뮬레이션 결과, 다양한 점수 규칙(Brier, 구면, 베타) 간에 IC 방법의 성능가 유사함을 보이며, 진실한 믿음 확보가 특정 가중치 업데이트 규칙보다 훨씬 중요함을 시사한다.
• 그리디 하한 사례는 이론적 하한과 거의 정확히 일치하며, 레미마 20의 분석이 거의 날카로운 하한임을 시사하지만, 더 정교한 점수 규칙 분석을 통해 더 강력한 하한이 존재할 수 있음을 암시한다.