[論文レビュー] Strategic Classification from Revealed Preferences

Jinshuo Dong, Aaron Roth+3 more|arXiv (Cornell University)|Oct 22, 2017

Advanced Bandit Algorithms Research参考文献 19被引用数 6

ひとこと要約

本稿では、学習者が真の特徴やコスト関数の知識を持たないが、操作された特徴（露わにされた好み）のみを観測する戦略的分類の計算効率の良いオンライン学習アルゴリズムを提案する。損失関数の凸性を、操作コスト関数にやや緩い条件下で活用することで、エージェントが分類器に戦略的に反応する状況でも、近似的に最適な性能に収束する、徐々に小さくなるスタックルバーグレグレットを達成する。

ABSTRACT

We study an online linear classification problem, in which the data is generated by strategic agents who manipulate their features in an effort to change the classification outcome. In rounds, the learner deploys a classifier, and an adversarially chosen agent arrives, possibly manipulating her features to optimally respond to the learner. The learner has no knowledge of the agents' utility functions or "real" features, which may vary widely across agents. Instead, the learner is only able to observe their "revealed preferences" --- i.e. the actual manipulated feature vectors they provide. For a broad family of agent cost functions, we give a computationally efficient learning algorithm that is able to obtain diminishing "Stackelberg regret" --- a form of policy regret that guarantees that the learner is obtaining loss nearly as small as that of the best classifier in hindsight, even allowing for the fact that agents will best-respond differently to the optimal classifier.

研究の動機と目的

• 学習者がエージェントの真の特徴や操作コストを把握できない状況における戦略的分類を扱う。
• 観測可能なのは操作された特徴ベクトル（露わにされた好み）のみであるという点を踏まえ、学習プロセスを反復的なオンライン手順としてモデル化する。
• エージェントの戦略的最適反応を考慮した政策レグレット（Stackelberg regret）を最小化する学習アルゴリズムを設計する。
• 戦略的操作が行われても、学習者の損失関数が凸のままである条件を確立する。
• エージェントが敵対的に選ばれている場合やi.i.d.でないデータが存在する場合でも、スタックルバーグ均衡への収束を保証できるようにする。

提案手法

• 各ラウンドで学習者は分類器を導入し、真の特徴やコスト関数ではなく、エージェントの操作された特徴ベクトルのみを観測する。
• エージェントのユーティリティを明示的に知らなくても、露わにされた好み（すなわち最適反応行動）を用いて反復的に分類器を更新する。
• 主な技術的洞察は、コスト関数が凸かつ正homogeneous（同次）で次数r > 1である場合、β ↦ ⟨β, x̂(β)⟩ が凸であることが保証され、損失関数の凸性が保たれることである。
• 凸共役解析と劣勾配理論を用いて、最適反応マッピングが明確に定義され、凸な目的関数をもたらすことを示す。
• ロジスティック損失およびハンジング損失が、これらの条件下でβに関して凸であることを証明し、標準的な凸最適化ソルバを用いた効率的最適化を可能にする。
• アルゴリズムは徐々に小さくなるスタックルバーグレグレットを達成し、平均損失が、戦略的行動を考慮した後悔の観点から、最良の固定分類器の平均損失に近づく。

実験結果

リサーチクエスチョン

• RQ1 操作コスト関数にどのような条件下で、戦略的エージェントの反応があっても、学習者の損失関数が凸のままであるか？
• RQ2 露わにされた好み（操作された特徴）のみが観測可能で、エージェントのユーティリティが未知である状況でも、学習アルゴリズムが徐々に小さくなるスタックルバーグレグレットを達成できるか？
• RQ3 エージェントが分類器に最適反応する戦略的環境下で、学習者の政策レグレットをどのようにバインドできるか？
• RQ4 コスト関数にどのような構造的仮定が、最適反応マッピングが学習者にとって明確に定義され、凸な目的関数をもたらすか？
• RQ5 敵対的に選ばれたエージェントや非i.i.d.データに対しても、フレームワークがスタックルバーグ均衡への収束を保証できるか？

主な発見

• コスト関数 d(𝐱′,𝐱) = f(𝐱′−𝐱) が凸かつ正homogeneous（同次）で次数r > 1である場合、β ↦ ⟨β, x̂(β)⟩ は凸かつwell-defined（適切に定義された）であり、複数の最適反応が存在しても成立する。
• この条件下で、ロジスティック損失およびハンジング損失は、分類器βに関して凸関数であることが保証され、効率的な最適化が可能になる。
• 提案されたオンライン学習アルゴリズムは、徐々に小さくなるスタックルバーグレグレットを達成し、平均損失が、戦略的操作を考慮した後悔の観点から、最良の固定分類器の平均損失に収束する。
• この結果は、エージェントが敵対的に選ばれている場合や、真の特徴やコスト関数が固定分布から生成されない場合でも成立する。
• フレームワークは、エージェントのユーティリティ関数の完全な知識が不要な点で、従来の1回限りのスタックルバーグ均衡計算を一般化する。
• 解析は、凸共役双対性と、同次凸関数の一般化されたオイラーの定理に依拠している。