[論文レビュー] Fair Interpretable Representation Learning with Correction Vectors

Mattia Cerrato, Alesia Vallenas Coronel+4 more|arXiv (Cornell University)|Feb 7, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿は、データのバイアスを解消しながらモデル性能を維持するための、解釈可能な補正ベクトルを用いた新しいフレームワークを提案する。アーキテクチャ制約または可逆正規化フローを介して特徴レベルの補正を明示的に学習することにより、人間が読み取れる、分解可能な公平性の介入が可能となり、精度を犠牲にすることなく、最先端の公平性と性能のトレードオフを達成する。

ABSTRACT

Neural network architectures have been extensively employed in the fair representation learning setting, where the objective is to learn a new representation for a given vector which is independent of sensitive information. Various representation debiasing techniques have been proposed in the literature. However, as neural networks are inherently opaque, these methods are hard to comprehend, which limits their usefulness. We propose a new framework for fair representation learning that is centered around the learning of "correction vectors", which have the same dimensionality as the given data vectors. Correction vectors may be computed either explicitly via architectural constraints or implicitly by training an invertible model based on Normalizing Flows. We show experimentally that several fair representation learning models constrained in such a way do not exhibit losses in ranking or classification performance. Furthermore, we demonstrate that state-of-the-art results can be achieved by the invertible model. Finally, we discuss the law standing of our methodology in light of recent legislation in the European Union.

研究の動機と目的

• 深層ニューラルネットワークに基づく公平表現学習手法における解釈性の欠如に対処すること。
• バイアスのない表現を元の特徴空間に戻すことで、公平性補正の可視化を人間が読み取れる形で可能にすること。
• 明示的な補正ベクトルを用いて分類およびランク付けタスクにおける高い性能を維持しつつ、公平性を確保すること。
• 透明で分解可能な補正を提供することで、『説明の権利』を満たすEU AI規制に適合すること。
• 特定のグループに明示的にペナルティを科える公平性介入の法的・倫理的影響を検討すること。

提案手法

• 入力データと同じ次元の補正ベクトルを学習し、各サンプルに適用される公平性の調整を表す。
• 表現マッピングに特定の性質を強制するアーキテクチャ制約を用いて、明示的な計算を実現する。
• 入力から補正済み表現への双方向変換を学習する可逆正規化フローを用いて、暗黙的な計算を実現する。
• 公平表現学習を2段階に分解する：(1) 補正ベクトルの学習、(2) 後続タスクの最適化。
• 補正ベクトルは、元の表現とバイアス除去済み表現の差分から導出され、特徴空間における直接的な解釈が可能になる。
• 本手法は、表形式データおよび高次元ベクトルデータをサポートするが、画像およびテキストデータはまだ最適化されていない。

実験結果

リサーチクエスチョン

• RQ1 明示的で人間が読み取れる補正ベクトルを用いることで、公平表現学習の解釈性を向上させられるか？
• RQ2 アーキテクチャ制約を用いて補正ベクトルの学習を強制しても、後続タスクでの性能が維持されるか？
• RQ3 可逆正規化フローを用いることで、公平表現学習における最先端の公平性と性能のトレードオフを達成できるか？
• RQ4 補正ベクトルフレームワークは、特に『説明の権利』に配慮したEU AI規制とどのように整合するか？
• RQ5 非保護グループの特徴に明示的にペナルティを科える介入には、どのような法的・倫理的影響が生じるか？

主な発見

• 可逆正規化フローを用いた補正ベクトルモデルを用いることで、本フレームワークは最先端の公平性と性能のトレードオフを達成した。
• 明示的な補正ベクトル計算のためのアーキテクチャ制約は、分類およびランク付けタスクにおいて性能にほとんど影響を与えない。
• 補正ベクトルは直接的で特徴レベルの調整として解釈可能であり、人間のアナリストが公平性介入を検査できる。
• 公平性メカニズムを透明かつ分解可能にすることで、本手法は『説明の権利』を支援する。
• 明示的な補正は、特に非保護グループにペナルティが科される場合、反差別権に影響を及える可能性があるため、重要な法的配慮を喚起する。
• 本手法は、公平な深層学習モデルのブラックボックスを解体することで、法的適合性と信頼性のあるAIの実現に道を開く。