[論文レビュー] On Quantitative Evaluations of Counterfactuals

Frederik Hvilshøj, Alexandros Iosifidis+1 more|arXiv (Cornell University)|Oct 30, 2021

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿は、視覚的反事実解釈を評価するための既存の定量的指標に深刻な欠陥が存在することを特定し、それらがしばしば現実的でない微小な敵対的変化を好む傾向にあることを示している。これを是正するため、本稿では現実性と妥当性をよりよく捉える2つの新しい指標——ラベル変動スコアとオラクルスコア——を提案する。これらは併用されることで、反事実解釈の品質を堅牢に評価するのに役立つと提言する。

ABSTRACT

As counterfactual examples become increasingly popular for explaining decisions of deep learning models, it is essential to understand what properties quantitative evaluation metrics do capture and equally important what they do not capture. Currently, such understanding is lacking, potentially slowing down scientific progress. In this paper, we consolidate the work on evaluating visual counterfactual examples through an analysis and experiments. We find that while most metrics behave as intended for sufficiently simple datasets, some fail to tell the difference between good and bad counterfactuals when the complexity increases. We observe experimentally that metrics give good scores to tiny adversarial-like changes, wrongly identifying such changes as superior counterfactual examples. To mitigate this issue, we propose two new metrics, the Label Variation Score and the Oracle score, which are both less vulnerable to such tiny changes. We conclude that a proper quantitative evaluation of visual counterfactual examples should combine metrics to ensure that all aspects of good counterfactuals are quantified.

研究の動機と目的

• 視覚的反事実の既存の定量的指標を分析・評価し、それらが実際に捉えている性質を理解すること。
• 特に、意味的で現実的な反事実と比較して、微小で現実的でない敵対的変化を好む傾向がある既存指標の欠陥を特定すること。
• 微小で敵対的変化に類似した摂動に対して脆弱でない、人間の直感的な反事実の品質をよりよく反映する新しい指標を提案すること。
• 現実性と妥当性を組み合わせたマルチメトリック評価フレームワークの導入を提唱し、反事実生成手法の包括的かつ信頼性のある評価を保証すること。

提案手法

• ラベル変動スコア（LVS）を提案する。これは、補助的予測モデルを用いて一般化を評価し、特定の入力に過剰適合しないようにすることで、複数のラベルにわたるモデル予測の変化を測定する。
• オラクルスコアを導入する。これは、真の基準値と比較して反事実が予測ラベルをどの程度効果的に変更するかを測定することで、反事実の妥当性を評価し、微小な摂動への感受性を低減する。
• Fréchet Inception Distance（FID）を用いて、生成された反事実の現実性を、実データ分布と比較して定量化する。
• FID、LVS、オラクルスコアを、既存の指標（ユークリッド距離（EN）、Inceptionメトリクス（IM1、IM2））と組み合わせ、マルチメトリック評価フレームワークを構築する。
• 複雑度が増す3つのデータセット（FakeMNIST、MNIST、CelebA-HQ）を用い、3つの代表的な反事実生成手法（GB、GL、GEN）で評価を行う。
• アブレーションスタディおよび信頼区間解析を実施し、異なる反事実タイプにおける指標の堅牢性と信頼性を検証する。

実験結果

リサーチクエスチョン

• RQ1 複雑なデータセットにおいて、既存の定量的指標は現実的でない反事実と敵対的変化を信頼性を持って区別できるか、特に複雑なデータセットにおいては。
• RQ2 現在の指標は、解釈不能な微小で人間には見えない変化（敵対的攻撃に類似）に対してどの程度脆弱であるか。
• RQ3 微小な摂動に依存しないように、反事実例の現実性と一般化可能な妥当性をよりよく捉える新しい指標を設計可能か。
• RQ4 どの指標の組み合わせが、視覚的反事実の品質を最も信頼性があり包括的に評価できるか。

主な発見

• CelebA-HQのような複雑なデータセットでは、EN や IM1/IM2 といった既存指標が、現実的でない微小な敵対的変化と現実的な反事実を区別できず、しばしば後者を好む傾向にある。
• ラベル変動スコア（LVS）は、GEN手法が関連するラベル（例：化粧、魅力的さ、口紅）にわたってより意味的で一般化可能な変化を生み出していることを明確に特定している。一方、GL は低LVSを示しており、モデル固有で敵対的変化に類似した行動を示していることがわかる。
• オラクルスコアは、生成ベースの手法（GEN）が予測ラベルを効果的に変更できていることを正しく特定しており、GB や GL よりも優れている。これは定性的な評価と整合的である。
• FID256 と LVS の組み合わせは、現実性と妥当性の両方を信頼性高く評価するのに適しており、EN 距離は FID と LVS のスコアが類似する手法同士を比較する場合にのみ有用である。
• 微小な敵対的変化は、EN や IM1/IM2 といった従来の指標で常に高いスコアを示し、それらがこうした摂動に対して脆弱であることを示している。
• 提案された LVS とオラクルスコアは、微小で現実的でない変化に対して感受性が低く、特に複雑なデータにおいて人間の直感的な反事実品質をよりよく反映している。