[論文レビュー] Probing Classifiers are Unreliable for Concept Removal and Detection

Abhinav Kumar, Chenhao Tan+1 more|arXiv (Cornell University)|Jul 8, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

この論文は、ニューラルネットワークの表現から余計な概念や感受性の高い概念を検出・除去するために一般的に使われるプローブ分類器が、根本的に信頼できないことを示している。概念関連特徴が完璧に分離可能であっても、プローブ分類器は関連するタスクに必要な特徴に依存する可能性があり、後処理および敵対的除去手法が有用な情報を削除するか、目的の概念を完全に除去できない原因となる。

ABSTRACT

Neural network models trained on text data have been found to encode undesirable linguistic or sensitive concepts in their representation. Removing such concepts is non-trivial because of a complex relationship between the concept, text input, and the learnt representation. Recent work has proposed post-hoc and adversarial methods to remove such unwanted concepts from a model's representation. Through an extensive theoretical and empirical analysis, we show that these methods can be counter-productive: they are unable to remove the concepts entirely, and in the worst case may end up destroying all task-relevant features. The reason is the methods' reliance on a probing classifier as a proxy for the concept. Even under the most favorable conditions for learning a probing classifier when a concept's relevant features in representation space alone can provide 100% accuracy, we prove that a probing classifier is likely to use non-concept features and thus post-hoc or adversarial methods will fail to remove the concept correctly. These theoretical implications are confirmed by experiments on models trained on synthetic, Multi-NLI, and Twitter datasets. For sensitive applications of concept removal such as fairness, we recommend caution against using these methods and propose a spuriousness metric to gauge the quality of the final classifier.

研究の動機と目的

• ニューラルネットワーク表現における余計な概念や感受性の高い概念を検出・除去するためのプローブ分類器の信頼性を調査すること。
• 理論的優位性があるにもかかわらず、後処理および敵対的概念除去手法がなぜ失敗するかを分析すること。
• 概念除去手法がタスク関連特徴を破壊するか、目的の概念を完全に除去できない失敗モードを同定すること。
• 公平性が重要な応用分野における概念除去手法の品質を評価するための「余計性尺度」を提案すること。
• 合成データ、Multi-NLI、およびTwitterデータセットを用いて、概念とタスクの相関が変化する条件下で理論的主張を実証的に検証すること。

提案手法

• 理論的分析により、概念固有の特徴が線形分離可能で100％正確であっても、プローブ分類器がタスク関連特徴に対して非ゼロの重みを学習する可能性があることを証明した。
• 本稿では、後処理のためのヌル空間射影法と、敵対的学習に基づく方法を分析し、これらの手法がプローブ分類器に依存するため、概念除去が信頼できないことを示した。
• 二値の余計な特徴に対する分類器の依存度を定量化するための「余計性スコア」を提案した。これはモデルの公平性と耐性の代理指標として機能する。
• 合成データ、Multi-NLI、およびTwitterデータセットを用いて、主タスクと概念との相関が高まる条件下での概念除去を評価した。
• ドロップアウト正則化を適用し、敵対的除去手法における余計性の低減に与える影響を評価した。
• 合成データ上での真値Δ-確率指標との比較により、余計性スコアの信頼性を検証した。

実験結果

リサーチクエスチョン

• RQ1 プローブ分類器は、表現に因果的に由来する余計な概念や感受性の高い概念の特徴が含まれているかどうかを信頼できてか？
• RQ2 後処理および敵対的概念除去手法が、主タスク関連特徴を保持しながらも、目的の概念を除去できない条件は何か？
• RQ3 主タスクと概念との相関が、概念除去手法の失敗モードにどの程度影響を与えるか？
• RQ4 提案された余計性スコアは、余計な特徴への依存度を測る真値Δ-確率指標とどの程度相関しているか？
• RQ5 ドロップアウトのような正則化技術は、敵対的概念除去がタスクパフォーマンスに与える悪影響を軽減できるか？

主な発見

• 概念固有の特徴が完璧に線形分離可能で100％正確であっても、プローブ分類器が関連するタスク関連特徴に対して非ゼロの重みを割り当てる可能性がある。
• ヌル空間射影による後処理では、概念とタスクの相関が高くなるにつれて、主タスク特徴の割合が増加して消失し、最終的には主分類器がランダム推論にまで低下する。
• 敵対的除去手法では、概念関連特徴を完全に除去できない。残存する概念特徴は、標準的な分類器と同等の水準に留まる。
• ラベルに30％のノイズを含む合成データでは、敵対的除去手法により余計性スコアが上昇したが、ERMベースラインはゼロのままだった。
• 合成データ上での真値Δ-確率指標との間に高いピアソン相関（0.83および0.95）を示したため、提案された余計性スコアの妥当性が強く裏付けられた。
• ドロップアウト正則化を0.0から0.9に増加させると、敵対的除去後の主分類器のΔ-確率が低下し、正則化が失敗モードを緩和できることを示唆した。