[論文レビュー] FairGRAPE: Fairness-aware GRAdient Pruning mEthod for Face Attribute Classification

Xiaofeng Lin, Seungbae Kim+1 more|arXiv (Cornell University)|Jul 22, 2022

Face recognition and analysis被引用数 4

ひとこと要約

FairGRAPEは、顔属性分類のための深層ニューラルネットワークにおいて、グループ固有の重要度を保持する公平性に配慮したモデル剪定手法である。低重要度の重みを繰り返し剪定しながら、性的・人種的マイノリティグループ間でのグループ重要度の相対的分布を維持することで、最先端の剪定手法と比較して性能差を最大90％まで低減する。特に高スパarsity率（例：99％剪定）において顕著である。

ABSTRACT

Existing pruning techniques preserve deep neural networks' overall ability to make correct predictions but may also amplify hidden biases during the compression process. We propose a novel pruning method, Fairness-aware GRAdient Pruning mEthod (FairGRAPE), that minimizes the disproportionate impacts of pruning on different sub-groups. Our method calculates the per-group importance of each model weight and selects a subset of weights that maintain the relative between-group total importance in pruning. The proposed method then prunes network edges with small importance values and repeats the procedure by updating importance values. We demonstrate the effectiveness of our method on four different datasets, FairFace, UTKFace, CelebA, and ImageNet, for the tasks of face attribute classification where our method reduces the disparity in performance degradation by up to 90% compared to the state-of-the-art pruning algorithms. Our method is substantially more effective in a setting with a high pruning rate (99%). The code and dataset used in the experiments are available at https://github.com/Bernardo1998/FairGRAPE

研究の動機と目的

• 代表されていないグループに重要な特徴が不均等に削除されるため、既存の剪定手法が性的・人種的マイノリティグループ間で精度の乖離を拡大する問題に対処する。
• モデル重みの各グループごとの重要度を考慮することで、全体のモデル精度と公平性を両立する剪定フレームワークを構築する。
• 特にモバイル機器やウェアラブルデバイスのような実世界の応用分野で、公平性と効率性が求められる状況において、多様なデータセットおよび高スパarsityレベルでも頑健性を確保する。
• 圧縮モデルにおける公平性は、データの再バランスのみでは解決できないことを示し、剪定プロセス中にアルゴリズム的公平性の干渉が必要であることを示す。

提案手法

• ミニバッチの平均損失から導出される $ g_w $ を用いて、各ネットワーク重みのグループ別重要度スコアを勾配の二乗で計算する。$ I_{w,k} = (g_w w)^2 $ と定義される。
• 性的・人種的マイノリティグループごとの合計重要度の相対的分布を剪定中に維持するため、重要度の大きさとグループ内シェアを両立するエッジを選択する。
• 低重要度の重みを繰り返し剪定しながら、各剪定ステップ後に再計算された重要度スコアを用いることで、動的かつ公平性を保証する。
• 重要度計算にトレーニングデータの20％のサブセットを用いる。これは、速度と精度の最適なトレードオフが得られると経験的に示された。
• 一般化を確保するため、複数のアーキテクチャ（例：ResNet-34, MobileNet-V2）とデータセット（FairFace, UTKFace, CelebA, ImageNet）にわたって本手法を適用する。
• 同じ設定下でベースライン剪定手法（例：SNIP, GraSP, Weight Selection）と比較することで、FairGRAPEの公平性の利点を明確に分離する。

実験結果

リサーチクエスチョン

• RQ1 標準的な剪定手法は、顔属性分類における性的・人種的マイノリティグループ間で性能差をどれほど悪化させるか？
• RQ2 高スパarsityを達成しつつ、グループ重要度の相対的分布を維持できる剪定戦略を設計できるか？
• RQ3 99％程度の高剪定率において、FairGRAPEは最先端の剪定手法と比較して、公平性と精度の両面でどのように性能を発揮するか？
• RQ4 勾配計算時にデータの再バランスを施すことで、剪定に起因するバイアスが緩和されるか、それともアルゴリズム的公平性の干渉が不可欠か？
• RQ5 剪定後のレイヤーごとのグループ重要度の分布はどのように変化するか？また、FairGRAPEはレイヤー間でバランスの取れた重要度を維持できるか？

主な発見

• FairGRAPEは、4つのデータセットで最先端の剪定手法と比較して、性的・人種的マイノリティグループ間の性能劣化差を最大90％まで低減する。
• 99％の剪定率において、FairGRAPEはUtkFaceで $ \rho(\Delta) = 0.78 $ と、GraSP（$ \rho(\Delta) = 2.31 $）やSNIP（$ \rho(\Delta) = 1.90 $）と比較して顕著に低いバイアスを維持する。
• すべてのスパarsityレベルで最高の精度と最小の公平性ギャップを達成し、99％のスパarsityでも最小限の性能低下を示す。
• レイヤーごとの分析から、FairGRAPEは性別や人種ごとの重要度スコアをバランスよく維持している一方、SNIP や Weight Selection といったグループに依存しない手法は、代表されていないグループに重要な特徴を不均等に剪定していることが判明した。
• マイノリティデータのみを用いて勾配計算を行うとバイアスは減少せず、むしろ増加する場合もあり、データの再バランスのみでは剪定における公平性を解決できないことを示している。
• 重要度計算に最適なトレーニングサブセットサイズは20％であり、精度と計算効率の両立を実現する。