[論文レビュー] Online Prediction with Selfish Experts

Tim Roughgarden, Okke Schrijvers|arXiv (Cornell University)|Feb 13, 2017

Advanced Bandit Algorithms Research被引用数 3

ひとこと要約

この論文は、信用を最大化しようとする自己中心的専門家を想定したオンライン予測の形式的モデルを提示し、適切なスコアリングルールを用いて設計されたインcentive-compatible（IC）アルゴリズムが、リグレットを最小化するために不可欠であることを示している。絶対誤差損失関数において、いかなる確率的アルゴリズム（ICでなくとも）も漸近的に消えるリグレットを達成できないことを証明し、誠実な専門家の設定とは根本的に異なる性質を示している。

ABSTRACT

We consider the problem of binary prediction with expert advice in settings where experts have agency and seek to maximize their credibility. This paper makes three main contributions. First, it defines a model to reason formally about settings with selfish experts, and demonstrates that "incentive compatible" (IC) algorithms are closely related to the design of proper scoring rules. Designing a good IC algorithm is easy if the designer's loss function is quadratic, but for other loss functions, novel techniques are required. Second, we design IC algorithms with good performance guarantees for the absolute loss function. Third, we give a formal separation between the power of online prediction with selfish experts and online prediction with honest experts by proving lower bounds for both IC and non-IC algorithms. In particular, with selfish experts and the absolute loss function, there is no (randomized) algorithm for online prediction-IC or otherwise-with asymptotically vanishing regret.

研究の動機と目的

• 専門家が真実を報告するのではなく、自己の評価される信用を最大化するために戦略的に行動するオンライン予測のモデルを形式化すること。
• インセンティブ互換性（IC）が、特に二次損失関数でない場合のオンライン予測におけるパフォーマンス保証に与える影響を調査すること。
• 特に絶対誤差損失関数下で、自己中心的専門家と誠実な専門家のオンライン予測の能力に明確な分離を確立すること。
• 標準的手法が戦略的行動のため失敗する絶対誤差損失関数に対して、証明可能なパフォーマンス保証を持つICアルゴリズムを設計すること。
• ICおよび非ICアルゴリズムの両方について、リグレットのタイトな下界を証明し、自己中心的専門家のもとで絶対誤差損失関数下では、いかなるアルゴリズムでもリグレットを消えるようにはできないことを示すこと。

提案手法

• 専門家が評判を最大化するために戦略的に信念を報告するオンライン予測の新しいモデルを提案する。
• インセンティブ互換性（IC）を、専門家が真の信念を報告することを保証する性質として定義し、適切なスコアリングルールと正式に結びつける。
• 適切なスコアリングルール（例：ブリヤ、球面、ベータ族）を用いて、専門家の真実の信念を引き出すICアルゴリズムを設計する。
• 標準の損失に基づく更新ではなく、IC準拠のスコアリングルールを用いて重みを更新する、確率的加重多数決（RWM）を適用する。
• 2状態の隠れマルコフモデル（HMM）を用いて専門家の行動をシミュレートし、信念が高信頼度状態と低信頼度状態の間で変化するようにする。
• 理論的分析とシミュレーションを用いて、ICアルゴリズムと標準的な重み更新ルールとの比較を行い、後悔を「後悔の最良専門家」基準で測定する。

実験結果

リサーチクエスチョン

• RQ1 専門家が自己中心的で、信用を最大化しようとしている場合、インセンティブ互換性（IC）を持つオンライン予測アルゴリズムを設計できるか？
• RQ2 専門家が戦略的に行動する場合、ICアルゴリズムのパフォーマンスは、標準的なオンライン学習アルゴリズム（例：標準損失更新を用いたRWM）と比べてどの程度異なるか？
• RQ3 絶対誤差損失関数下で、自己中心的専門家によるオンライン予測の根本的限界は何か？
• RQ4 オンライン予測における自己中心的専門家と誠実な専門家の間で、パフォーマンスに明確な分離が存在するか？
• RQ5 ICアルゴリズムは絶対誤差損失関数下でサブ線形リグレットを達成できるか、それとも根本的な不可能性結果があるのか？

主な発見

• 絶対誤差損失関数下では、いかなる（確率的）オンライン予測アルゴリズム（ICでなくとも）も、漸近的に消えるリグレットを達成できない。これは根本的な不可能性を示している。
• 適切なスコアリングルール（例：ブリヤ、球面、ベータ）に基づくICアルゴリズムは、標準のRWM（非IC更新）よりも一貫して優れた性能を示し、T=10,000でリグレットが1.02未満、T=200,000で1.003に近づく。
• ICと非ICアルゴリズムのパフォーマンス格差は顕著である：標準RWMアルゴリズムはT=200,000でリグレットが約1.14を維持するが、IC手法は最良専門家の性能に近づく。
• 補題20の下界 $2 + rac{1}{ig floor rac{1}{ heta} ig floor}$ は、シミュレーションでほぼタイトであることが示され、実効的リグレットは $2 + heta$ に近く追従している。
• シミュレーションでは、IC手法がブリヤ、球面、ベータといった異なるスコアリングルールでも同程度の性能を示すため、真実の信念の引き出しの方が、特定の重み更新ルールよりも重要であることが示唆される。
• グリーディな下界インスタンスは理論的下界に非常に近い結果を示しており、補題20の解析がほぼタイトであることが示唆されるが、より洗練されたスコアリングルール解析により、より強い下界が得られる可能性がある。