[論文レビュー] Learning Strategy-Aware Linear Classifiers

Yi‐Ling Chen, Yang Liu+1 more|arXiv (Cornell University)|Nov 10, 2019

Advanced Bandit Algorithms Research参考文献 35被引用数 19

ひとこと要約

この論文は、境界付き半径内で特徴量を戦略的に操作するエージェントを伴う繰り返しのスタックルベルクゲームにおいて、線形分類器を学習するための戦略認識型アルゴリズムであるGrinderを導入する。外部レジームとスタックルベルクレジームの強い不適合性を証明し、双対空間における多面体分割とオракルを用いた適応的離散化により、ノイズのあるフィードバック下でもスタックルベルクレジーム最小化のほぼタイトなレジームバウンドを確立する。

ABSTRACT

We address the question of repeatedly learning linear classifiers against agents who are strategically trying to game the deployed classifiers, and we use the Stackelberg regret to measure the performance of our algorithms. First, we show that Stackelberg and external regret for the problem of strategic classification are strongly incompatible: i.e., there exist worst-case scenarios, where any sequence of actions providing sublinear external regret might result in linear Stackelberg regret and vice versa. Second, we present a strategy-aware algorithm for minimizing the Stackelberg regret for which we prove nearly matching upper and lower regret bounds. Finally, we provide simulations to complement our theoretical analysis. Our results advance the growing literature of learning from revealed preferences, which has so far focused on "smoother" assumptions from the perspective of the learner and the agents respectively.

研究の動機と目的

• エージェントが分類器をねじまげることを目的とした特徴量を戦略的に操作する状況における線形分類器の学習の課題に対処すること。
• 繰り返しのスタックルベルクゲームにおける戦略的エージェントを伴う学習アルゴリズムの性能を形式化し分析すること。
• 標準的な外部レジームなしのアルゴリズムが戦略的状況で限界を示すのを防ぐために、新たなレジーム測定法（スタックルベルクレジーム）を導入すること。
• 滑らかでない利得関数や損失関数を仮定せずに、スタックルベルクレジームを最小化する適応的離散化アルゴリズム（Grinder）を設計すること。
• δ-有界で短期的合理なエージェントを想定した戦略的分類におけるスタックルベルクレジームの根本的限界（下界）を特定すること。

提案手法

• アルゴリズムは学習者の行動空間の双対空間で動作し、エージェントの最適応答が同一となるような行動を表す領域（多面体）に対応する。
• 同一の応答行動を示す行動をグループ化する多面体分割方式を用い、損失推定値の体積に基づく再重み付けを可能にする。
• Grinderは、ある行動が別の行動を更新する確率を推定するためのオラクルを用い、履歴フィードバックをロジスティック回帰で処理して、確率スコアを計算する。
• 多面体を有効な行動とみなすことで、連続的行動空間へのEXP3アルゴリズムの一般化を実現し、レジーム保証を維持する。
• 連続的状況における損失推定子の分散を制限するために、グラフ理論的補題の新規な多面体ベースの変種を開発する。
• ノイズのあるオラクルに対しても頑健であり、フィードバックの不確実性下でもレジームバウンドを保持する。

実験結果

リサーチクエスチョン

• RQ1 標準的な外部レジームなしのアルゴリズムは、境界付きのエージェント操作を伴う戦略的分類設定において、サブ線形のスタックルベルクレジームを達成できるか？
• RQ2 戦略的エージェントが存在する状況で、同時にサブ線形の外部レジームとスタックルベルクレジームを達成することは可能か？
• RQ3 エージェントの応答が滑らかでない場合に、連続的行動空間を適応的に離散化し、スタックルベルクレジームを最小化する学習アルゴリズムはどのように設計できるか？
• RQ4 δ-有界で短期的合理なエージェントを伴う戦略的分類において、スタックルベルクレジームの根本的限界（下界）は何か？
• RQ5 異なるレベルのエージェントの操作力（δ）を想定した場合、Grinderのような戦略認識型アルゴリズムとEXP3のような標準アルゴリズムの性能はどのように比較されるか？

主な発見

• 論文は、外部レジームとスタックルベルクレジームの強い不適合性を証明した。最悪ケースにおいて、両方のレジームでサブ線形のレジームを同時に達成できるアルゴリズムは存在しない。
• Grinderは、スタックルベルクレジームにおいてほぼ一致する上界と下界を達成し、タイトな理論的性能保証を確立した。
• Grinderのレジームバウンドは、オラクルがノイズを含んでも次数の点で変化せず、頑健性を示した。
• シミュレーションでは、Grinderは離散的および連続的行動空間、さまざまな利得関数の下で、EXP3を一貫して上回った。
• δが増加するにつれてGrinderの性能劣化が観察された。これは、操作力の増大がアルゴリズムの有効性を低下させることを示唆している。
• 重複度の高いラベル分布では、GrinderとEXP3の両者とも性能が低下したが、Grinderは依然として相対的優位性を維持した。