[論文レビュー] Pruning has a disparate impact on model accuracy

Cuong Tran, Ferdinando Fioretto+2 more|arXiv (Cornell University)|May 26, 2022

Statistical Methods and Inference被引用数 6

ひとこと要約

この論文は、ニューラルネットワークのプルーニングが、代表されないデモグラフィックグループのモデル精度に顕著に悪影響を及えることを明らかにした。公平性の格差を悪化させる要因として、勾配ノルムと意思決定境界までの距離の不均衡を同定し、これらの格差をペナルティ化する公平性に配慮した損失関数を提案。この手法により、プルーニング後のモデルにおける精度格差が顕著に低減された。

ABSTRACT

Network pruning is a widely-used compression technique that is able to significantly scale down overparameterized models with minimal loss of accuracy. This paper shows that pruning may create or exacerbate disparate impacts. The paper sheds light on the factors to cause such disparities, suggesting differences in gradient norms and distance to decision boundary across groups to be responsible for this critical issue. It analyzes these factors in detail, providing both theoretical and empirical support, and proposes a simple, yet effective, solution that mitigates the disparate impacts caused by pruning.

研究の動機と目的

• ニューラルネットワークのプルーニングが、デモグラフィックグループごとに異なる精度への影響を及える理由を調査すること。
• プルーニング後のモデルにおけるこれらの格差を引き起こす根本的要因を同定すること。
• プルーニングによる公平性の低下を緩和する、シンプルで効果的な手法を開発すること。
• 勾配ノルムとヘッシアン行列の役割が、公平性の低下に与える影響について理論的および実験的裏付けを提供すること。
• プルーニングがグループ間で「裕福な者はさらに裕福になる、貧しい者はさらに貧しくなる」現象を引き起こすかどうかを示すこと。

提案手法

• デモグラフィックグループ間での平均勾配ノルムの格差をペナルティ化するように変更された損失関数を導入。
• グループ間の意思決定境界までの距離の差異に対してもペナルティ項を組み込む。
• 標準的なプルーニングパイプラインと互換性があり、軽量なアプローチとして設計。
• 理論的分析により、勾配ノルムの不均衡とヘッシアン行列の差異が、プルーニング後の公平性の低下に与える影響を結びつける。
• 複数のデータセット（例：UTK-Face）、アーキテクチャ（例：ResNet18）、およびプルーニング率を用いた実験的検証。
• 公平性への影響を定量化するために、過剰損失を指標として評価。

実験結果

リサーチクエスチョン

• RQ1 なぜプルーニングがマイノリティのデモグラフィックグループに対して、顕著に精度の低下を引き起こすのか？
• RQ2 プルーニング後のモデルで観察される公平性の格差を引き起こす根本的要因は何か？
• RQ3 勾配ノルムの不均衡とヘッシアン行列の差異は、公平性の低下にどのように寄与するのか？
• RQ4 シンプルな損失関数の修正が、プルーニング後のモデルにおける公平性の格差を効果的に低減できるか？
• RQ5 提案手法が、プルーニング後の「裕福な者はさらに裕福になる、貧しい者はさらに貧しくなる」現象を緩和できるか？

主な発見

• プルーニングは、高精度を示すグループ（例：UTK-Faceにおける白人）では一貫して精度を向上させる一方、低精度グループでは低下させることを示し、マシュー効果（Matthew effect）を明らかにした。
• グループ間での勾配ノルムの不均衡が、マイノリティグループの精度低下が顕著になる主な要因であることを示した。
• グループ固有のデータに関連するヘッシアン行列の差異が、分離性の不均一さと公平性の低下を引き起こしている。
• 提案された公平性に配慮した損失関数により、プルーニング後のモデルにおけるデモグラフィックグループ間の精度格差が顕著に低減された。
• 実験的結果から、複数のデータセットとアーキテクチャで「裕福な者はさらに裕福になる、貧しい者はさらに貧しくなる」現象が緩和された。
• 全体のモデル精度を犠牲にすることなく公平性が向上したため、リソース制約があり、公平性が重要な応用分野への導入に適している。