[論文レビュー] Decoupled classifiers for fair and efficient machine learning

Cynthia Dwork, Nicole Immorlica+2 more|arXiv (Cornell University)|Jul 20, 2017

Ethics and Social Impacts of AI参考文献 6被引用数 9

ひとこと要約

この論文は、機械学習における感受性属性（例：人種、性別）を用いる際のグループ間の固有の精度トレードオフを解消するために、各感受性グループ（例：人種、性別）ごとに別々のモデルを訓練する「分離型分類器」を提案する。グループ固有の学習と転移学習、および公平性と精度をバランスさせる共同損失関数を組み合わせることで、グループレベルのパフォーマンスが向上し、特に多数派グループの特徴が標準的な分類器を支配する状況においてバイアスが低減される。

ABSTRACT

When it is ethical and legal to use a sensitive attribute (such as gender or race) in machine learning systems, the question remains how to do so. We show that the naive application of machine learning algorithms using sensitive features leads to an inherent tradeoff in accuracy between groups. We provide a simple and efficient decoupling technique, that can be added on top of any black-box machine learning algorithm, to learn different classifiers for different groups. Transfer learning is used to mitigate the problem of having too little data on any one group. The method can apply to a range of fairness criteria. In particular, we require the application designer to specify as joint loss function that makes explicit the trade-off between fairness and accuracy. Our reduction is shown to efficiently find the minimum loss as long as the objective has a certain natural monotonicity property which may be of independent interest in the study of fairness in algorithms.

研究の動機と目的

• 感受性属性を機械学習に用いる際の、人種的・性的背景に起因するグループ間の精度トレードオフを解消すること。
• 分類器をグループごとに分離することで、精度を犠牲にせずに公平性を向上させる実用的で即時適用可能な手法を開発すること。
• 精度と公平性指標をバランスさせる共同損失関数を用いて、アプリケーション固有の公平性目的を達成すること。
• 分離型学習と転移学習を組み合わせた手法が、特に少数派グループにおいて、標準的な結合型分類器を上回ることを示すこと。
• 任意の市販分類器と互換性があり、弱い単調性制約のもとで公平性を効率的に最適化できるブラックボックス還元を提供すること。

提案手法

• 各感受性グループごとに、グループ固有のデータを用いて別々の分類器を訓練し、各グループに特有の意思決定境界を設定する。
• 低リソースグループのパフォーマンス向上のため、共有グローバルモデルからの事前学習重みを初期値として用いることで転移学習を実装する。
• グループ間の公平性指標（例：偽陽性率、予測値）の乖離をペナルティとする共同損失関数を定義する。
• 損失関数が弱い単調性性質を満たす場合に、グローバル最適性を保証するブラックボックス還元を用いて共同損失を最適化する。
• 線形分類器、SVM、ニューラルネットワーク特徴量に本手法を適用し、表形式データおよび画像データの両方で有効性を実証する。
• 画像特徴抽出に事前学習済みCaffeNetモデルを用い、性別ベースの画像分類におけるバイアスを評価する。

実験結果

リサーチクエスチョン

• RQ1 感受性属性を用いる際、グループごとに別々の分類器を訓練することで、グループ間の精度トレードオフが解消可能か？
• RQ2 転移学習は、分離型分類システムにおける少数派グループのパフォーマンスにどのように寄与するか？
• RQ3 画像分類において、多数派グループの特徴が支配的である場合に、分離型学習が多数派特徴バイアスをどの程度低減できるか？
• RQ4 公平性と精度基準を統合した共同損失関数は、ブラックボックス還元を用いて効率的に最適化可能か？
• RQ5 データのグループ代表率が不均衡な実世界のデータセットにおいて、分離型分類が標準的な結合型分類器を上回るか？

主な発見

• 分離型分類器は画像分類におけるバイアスを顕著に低減する：結合型分類器は、女性がタキシードを着た画像を誤って「スーツ」と分類したが、分離型分類器はこの誤りを回避した。
• 転移学習は少数派グループのパフォーマンスを著しく向上させる。転移学習を用いない場合、分離型分類器はいくつかのデータセットで結合型分類器に劣る性能を示した。
• 結合型および分離型の線形SVMは5分割交差検証で94.5％の精度を達成したが、分離型モデルはトップ予測において多数派特徴バイアスが低減された。
• 目的関数が弱い単調性性質を満たす限り、共同損失関数のグローバル最適性が保証され、効率的な最適化が可能となる。
• 分離型アプローチにより、カスタマイズ可能な共同損失関数を通じて、アプリケーション設計者が公平性と精度のトレードオフを明示的に定義可能となり、多様な公平性基準に適応可能である。
• 実験的結果から、分離型学習は特に転移学習を用いることで、特定のデータセットおよび感受性特徴において損失を低減できることを示した。