[論文レビュー] Perfectly Parallel Fairness Certification of Neural Networks

Caterina Urban, Maria Christakis+2 more|arXiv (Cornell University)|Dec 5, 2019

Adversarial Robustness in Machine Learning参考文献 46被引用数 6

ひとこと要約

この論文では、表形式データ分類に使用されるフィードフォワードニューラルネットワークにおける因果的公平性を証明する、完全に並列な静的解析手法を提示する。前向きおよび後向きの静的解析を組み合わせて入力空間を分割し、各分割ごとに公平性を検証することで、整合的で正確かつ設定可能な証明が可能となる。成功した場合には決定的な保証を提供し、そうでない場合には正確なバイアスの特徴を明らかにする。実世界のデータセットを用いた実験で、スケーラブルで、リソース使用量を必要に応じて増減できる方法として有効に示された。

ABSTRACT

Recently, there is growing concern that machine-learning models, which currently assist or even automate decision making, reproduce, and in the worst case reinforce, bias of the training data. The development of tools and techniques for certifying fairness of these models or describing their biased behavior is, therefore, critical. In this paper, we propose a perfectly parallel static analysis for certifying causal fairness of feed-forward neural networks used for classification of tabular data. When certification succeeds, our approach provides definite guarantees, otherwise, it describes and quantifies the biased behavior. We design the analysis to be sound, in practice also exact, and configurable in terms of scalability and precision, thereby enabling pay-as-you-go certification. We implement our approach in an open-source tool and demonstrate its effectiveness on models trained with popular datasets.

研究の動機と目的

• 機械学習モデルにおけるバイアスに関する懸念が高まる中、特に刑事司法や医療などハイリスクな応用分野において、その影響を軽減するための対策を講じる。
• ローカルなロバストネスにとどまらない、すべての入力に対して成り立つグローバルな性質である因果的公平性を、スケーラブルかつ正確に証明する手法を開発する。
• 公平性が証明された場合には決定的な保証を提供し、そうでない場合にはバイアス行動の正確な定量化を可能にすることで、信頼できる展開を実現する。
• 分割と再開可能な解析を可能にする仕組みにより、スケーラビリティと精度の間の設定可能なトレードオフを実現し、段階的かつ必要に応じてリソースを割り当てられるようにする。

提案手法

• アプローチは、入力制約に基づいてニューラルネットワークの入力空間を独立で管理可能な領域に分割する前向き静的解析を用いる。
• その後、各分割に対して完全に並列に後向き静的解析を適用し、選択された感受性特徴に対して因果的公平性を検証する。
• この手法は整合的であり、実際には正確であるため、公平性証明において誤検出や見逃しを生じない。
• ユーザーが定義した精度またはスケーラビリティのしきい値を満たさない分割を除外することで、設定可能な解析を可能にし、段階的実行を実現する。
• フレームワークは、入力空間全体の解析と、特定の入力領域に対する標的バイアスクエリ（例：「ヒスパニック系で45歳以上の人物が性別に関して差別されているか？」）の両方をサポートする。
• 実装では、シンボリック実行と抽象ドメイン（例：DeepPoly）を用いて、ReLUベースのニューラルネットワークの正確かつスケーラブルな解析を実現する。

実験結果

リサーチクエスチョン

• RQ1 表形式データ向けフィードフォワードニューラルネットワークにおける因果的公平性を、静的解析を用いて整合的かつ正確に証明できるか？
• RQ2 大規模な入力空間に対しても精度を維持しつつ、段階的実行を可能にする形で公平性証明をスケーリングできるか？
• RQ3 入力空間全体を解析しなくても、特定の入力サブ領域に対する標的バイアスクエリをサポートできるか？
• RQ4 実際の運用において、解析の精度とスケーラビリティのトレードオフが、パフォーマンスとカバー範囲に与える影響は何か？
• RQ5 複数のCPUにわたってこの手法を効果的に並列化することで、実行時間の効率が向上するか？

主な発見

• 高精度設定を用いた場合、日本信用スクリーニングデータセットにおいて、100%の入力分割で公平性が正しく証明され、10台のCPUを用いて20分以内に全カバーが達成された。
• COMPASデータセットでは、10台のCPUを用いて30分以内に99.98%の公平性カバーが達成され、高い精度と正確性を維持した。
• シンボリック実行とDeepPolyのような抽象ドメインの使用により、ReLUネットワークの正確な解析が可能になり、誤検出が最小限に抑えられた。
• フレームワークは強力な並列スケーラビリティを示し、CPU数が増加するに従い、特に高精度設定において分析時間が顕著に短縮された。
• 「支払いに応じた使用」設計により、不完全な解析を緩められた設定で再開可能であり、リソース制限のある環境でも展開が可能となった。
• 特に高精度設定において、カバレッジと速度の両面でベースライン手法を上回った。解析時間は、設定やデータセットの複雑さに応じて15分から52時間まで変動した。