[論文レビュー] Trust AI Regulation? Discerning users are vital to build trust and effective AI regulation

Zainab Alalawi, Paolo Bova+9 more|arXiv (Cornell University)|Mar 14, 2024

Blockchain Technology Applications and Security被引用数 7

ひとこと要約

論文はAIガバナンスを3つの集団進化ゲーム（ユーザー、クリエイター、規制当局）としてモデル化し、さまざまな規制インセンティブと条件付き信頼が信頼できるAIとユーザーの信頼に与える影響を予測する。

ABSTRACT

There is general agreement that some form of regulation is necessary both for AI creators to be incentivised to develop trustworthy systems, and for users to actually trust those systems. But there is much debate about what form these regulations should take and how they should be implemented. Most work in this area has been qualitative, and has not been able to make formal predictions. Here, we propose that evolutionary game theory can be used to quantitatively model the dilemmas faced by users, AI creators, and regulators, and provide insights into the possible effects of different regulatory regimes. We show that creating trustworthy AI and user trust requires regulators to be incentivised to regulate effectively. We demonstrate the effectiveness of two mechanisms that can achieve this. The first is where governments can recognise and reward regulators that do a good job. In that case, if the AI system is not too risky for users then some level of trustworthy development and user trust evolves. We then consider an alternative solution, where users can condition their trust decision on the effectiveness of the regulators. This leads to effective regulation, and consequently the development of trustworthy AI and user trust, provided that the cost of implementing regulations is not too high. Our findings highlight the importance of considering the effect of different regulatory regimes from an evolutionary game theoretic perspective.

研究の動機と目的

• ユーザー、AIクリエイター、規制当局間の相互作用を形式化することで規制設計の動機づけを行う。
• さまざまな体制の下で信頼できるAIとユーザーの信頼がいつ出現するかを予測する進化ゲーム理論モデルを開発する。
• 規制当局を動機づけるメカニズムを評価し、規制当局のパフォーマンスに適応するユーザー行動を可能にする。

提案手法

• ユーザー、クリエイター、規制当局の3集団の進化ゲーム理論フレームワークを提案する。
• 戦略を定義する：ユーザーは信頼する（T）または信頼しない（N）；クリエイターは協力（C）または不協力（D）；規制当局は協力（C）または不協力（D）。
• 利益を信頼、安全性コスト、規制コストに結びつける利得構造を使用する（例：b_U, b_P, c_P, b_R, c_R）。
• 適応度差を導出し、無限集団のための模写写像ダイナミクス（ODE系）と有限集団のための確率動力学（定着確率、マルコフ連鎖）を定式化する。
• 頂点平衡と非頂点平衡を分析する；規制当局の報酬（b_fo）と条件付き信頼（規制当局の評判）を加えて拡張する。
• 信頼、規制、安全な開発の循環と体制を示す数値シミュレーションによって結果を探る。

Figure 1 : Core features . The figure schematically illustrates the core features of the three-population model of AI governance. Users can either trust (T) or not trust (N) the AI system, in which case they do not adopt the system and get zero benefit. Creators can either defect by creating unsafe

実験結果

リサーチクエスチョン

• RQ1 どのような規制インセンティブ構造の下で信頼できるAIの開発とユーザーの信頼が出現するか？
• RQ2 規制当局への報酬やユーザーによる条件付き信頼は効果的な規制と安全なAIを促してくれるのか、どのコストとリスク条件下で？
• RQ3 ベースラインモデルと拡張モデルは、均衡結果（信頼、規制、安全）を予測する際にどのように異なるのか？

主な発見

• ベースラインモデルでは規制当局が協力するインセンティブを持つことはまれで、信頼を達成するのは難しい。
• 安全でない開発者を摘発する規制当局に報酬を与えると、ユーザー採用リスクがそれほど高くない場合、ある程度の信頼できる開発とユーザーの信頼を促進できる。
• 規制当局の有効性（公共の評判）に基づくユーザー信頼の条件付けは、規制コストがそれほど高くない場合、効果的な規制と信頼できるAIにつながる。
• 拡張モデルは、信頼、規制、安全がインセンティブ（例：b_fo, v, c_R）に応じて変動する内部均衡や循環動態の可能性を示す。
• 数値結果は、完全な信頼と協調的規制、規制と安全でない開発の間の極限循環、または持続的な非採用（NDD）など、ε（リスク要因）とコストに依存するシナリオを示す。
• 条件付き信頼は高い規制コストの問題を緩和し、多くのパラメータ領域でより安全な開発と採用を可能にする。

Figure 2 : Reward for regulators . The figure shows the changes to the original model. Regulators gain extra reward for capturing unsafe development.