[論文レビュー] Price of Transparency in Strategic Machine Learning

Emrah Akyol, Cédric Langbort+1 more|arXiv (Cornell University)|Oct 26, 2016

Auction Theory and Applications被引用数 10

ひとこと要約

この論文は、アルゴリズムが透明である場合に機械学習設計者が被る性能コストを定量化するための指標として、透明性のコスト（PoT）を導入している。戦略的データ提供者と分類器設計者の間でスタックルベルクゲームを設定し、PoTの解析的表現を導出し、透明性が戦略的データ操作を助長するため、特にバイアス変数とソース変数が相関している場合に分類性能が著しく低下することを示している。

ABSTRACT

Based on the observation that the transparency of an algorithm comes with a cost for the algorithm designer when the users (data providers) are strategic, this paper studies the impact of strategic intent of the users on the design and performance of transparent ML algorithms. We quantitatively study the {\bf price of transparency} in the context of strategic classification algorithms, by modeling the problem as a nonzero-sum game between the users and the algorithm designer. The cost of having a transparent algorithm is measured by a quantity, named here as price of transparency which is the ratio of the designer cost at the Stackelberg equilibrium, when the algorithm is transparent (which allows users to be strategic) to that of the setting where the algorithm is not transparent.

研究の動機と目的

• アルゴリズムの透明性により、戦略的データ提供者が入力を操作可能になる状況において、機械学習設計者が直面する性能劣化を定量化すること。
• 戦略的データ提供者とML設計者との間の相互作用を、完全情報を持つ非協力的スタックルベルクゲームとしてモデル化すること。
• 透明性下での設計者コストと非戦略的ベンチマークとの比として、透明性のコスト（PoT）を定義し、計算すること。
• PoTがソース変数とバイアス変数の同時統計的性質および分類領域の数にどのように依存するかを分析すること。
• 最小二乗誤差推定と量子化理論に裏打ちされた、透明性下での両プレイヤーの最適戦略の解析的表現を提供すること。

提案手法

• 戦略的分類問題をスタックルベルクゲームとしてモデル化：データ提供者（リーダー）は入力をバイアスする戦略g(X, Θ)を選び、分類器設計者（フォロワー）はMSEを最小化するようにh(Y)を選びます。
• ソースXとバイアスΘが同時にガウス分布に従い、相関係数ρおよび分散σ²_X、σ²_Θが既知であると仮定します。
• 最適なデータ提供者戦略g*(X, Θ) = X + αΘを、ゲームの均衡条件から導出します。
• 最適な分類器h*(Y)は2段階のプロセスとして導出されます：MMSE推定X̂(Y) = E[X|Y]、その後に最適近傍量子化QNN( X̂(Y))を実行します。
• 透明性下での透明性のコスト（PoT）は、PoT = [DR(σ²_X) + D(k)_Q(σ²_ X̂)] / D(k)_Q(σ²_X)として計算され、DRは推定歪み、D(k)_Qは量子化誤差を表します。
• ベクトル量子化および推定理論の結果を用いて、σ²_ X̂および戦略的入力下での歪みを特徴付けます。

実験結果

リサーチクエスチョン

• RQ1 データ提供者が戦略的である場合、アルゴリズムの透明性が機械学習分類器の性能にどのように影響するか？
• RQ2 透明なMLシステムにおける戦略的データ提供者の最適戦略の解析的形は何か？
• RQ3 真のデータと提供者が導入するバイアスとの相関が、透明性のコスト（PoT）にどのように影響するか？
• RQ4 分類領域の数（k）が透明性に起因する性能劣化に与える影響は何か？
• RQ5 戦略的データ操作を伴う、同時ガウス分布モデルにおいて、透明性の性能コストを解析的に定量化できるか？

主な発見

• 透明性のコスト（PoT）は、PoT = [DR(σ²_X) + D(k)_Q(σ²_ X̂)] / D(k)_Q(σ²_X)として解析的に特徴付けられ、DRはMMSE推定による歪み、D(k)_Qは量子化誤差を表す。
• 最適なデータ提供者戦略はg*(X, Θ) = X + αΘであり、α = [−1 + √(1 + 4(r + ρ))]/[2(r + ρ)]と表され、バイアスが提供者の戦略的変数に線形に比例することが示される。
• 最適な分類器はh*(Y) = QNN( X̂(Y))であり、X̂(Y) = E[X|Y]は、バイアス付き入力Yに基づくXのMMSE推定値である。
• PoTはソースXとバイアスΘの相関ρが高くなるほど増加し、戦略的インcentiveが強いほど性能劣化が顕著であることを示している。
• ρ > 0のときPoTは1より厳密に大きいことから、明示的なユーザーコストがなくても、透明性が設計者に測定可能な性能コストをもたらすことが確認された。
• 性能劣化は2つの要因によって引き起こされる：推定歪み（DR）と量子化誤差（D(k)_Q）、両者とも戦略的入力下で増加する。