[논문 리뷰] On Quantitative Evaluations of Counterfactuals

Frederik Hvilshøj, Alexandros Iosifidis외 1명|arXiv (Cornell University)|2021. 10. 30.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 시각적 역설적 설명을 평가하기 위한 기존 정량적 지표에 심각한 결함이 있음을 밝히며, 이는 종종 현실적인 변화보다 매우 작은, 적대적 공격과 유사한 변화를 선호하는 경향이 있음을 보여준다. 이를 해결하기 위해 저자들은 현실성과 타당성을 더 잘 반영하는 두 가지 새로운 지표인 레이블 변동 점수(Label Variation Score)와 오라클 점수(oracle score)를 제안한다. 이는 지표의 병합을 통해 역설적 설명 품질 평가의 강건성을 확보하기 위한 것이다.

ABSTRACT

As counterfactual examples become increasingly popular for explaining decisions of deep learning models, it is essential to understand what properties quantitative evaluation metrics do capture and equally important what they do not capture. Currently, such understanding is lacking, potentially slowing down scientific progress. In this paper, we consolidate the work on evaluating visual counterfactual examples through an analysis and experiments. We find that while most metrics behave as intended for sufficiently simple datasets, some fail to tell the difference between good and bad counterfactuals when the complexity increases. We observe experimentally that metrics give good scores to tiny adversarial-like changes, wrongly identifying such changes as superior counterfactual examples. To mitigate this issue, we propose two new metrics, the Label Variation Score and the Oracle score, which are both less vulnerable to such tiny changes. We conclude that a proper quantitative evaluation of visual counterfactual examples should combine metrics to ensure that all aspects of good counterfactuals are quantified.

연구 동기 및 목표

• 기존의 정량적 지표가 실제로 어떤 성질을 캡처하는지 이해하기 위해 시각적 역설적 설명을 분석하고 평가하는 것.
• 현재 지표의 한계, 특히 의미 있는 현실적인 역설적 설명보다 매우 작은, 현실적이지 않은 적대적 공격과 유사한 변화를 선호하는 경향을 특정하는 것.
• 매우 작은, 적대적 공격과 유사한 변형에 덜 민감하고 인간의 직관적인 역설적 설명 품질을 더 잘 반영하는 새로운 지표를 제안하는 것.
• 다양한 지표를 융합하여 현실성과 타당성을 동시에 고려하는 다중 지표 평가 프레임워크를 제안하여, 역설적 생성 방법의 종합적이고 신뢰할 수 있는 평가를 보장하는 것.

제안 방법

• 레이블 변동 점수(Label Variation Score, LVS)를 제안하며, 이는 다중 레이블에 걸쳐 모델의 예측이 얼마나 변화하는지를 측정하는 것으로, 일반화 능력을 평가하고 특정 입력에 대한 과적합을 방지하기 위해 대체 예측 모델을 사용한다.
• 오라클 점수(oracle score)를 도입하여, 실제 참조값과 비교했을 때 역설적 설명이 예측 클래스를 얼마나 잘 변화시키는지 측정함으로써 타당성을 평가하며, 소규모 변형에 대한 민감도를 감소시킨다.
• 프레셰 인셉션 거리(Fréchet Inception Distance, FID)를 사용하여 생성된 역설적 설명의 현실성을 정량화하고, 실제 데이터 분포와 비교한다.
• 기존의 지표인 유클리드 거리(Euclidean distance, EN)와 인셉션 메트릭(Inception Metrics, IM1, IM2)과 함께 FID, LVS, 오라클 점수를 융합하여 다중 지표 평가 프레임워크를 구성한다.
• 복잡도가 증가하는 세 가지 데이터셋(FakeMNIST, MNIST, CelebA-HQ)을 대상으로, 세 가지 대표적인 역설적 생성 방법(GB, GL, GEN)을 사용하여 평가한다.
• 추론 분석과 신뢰구간 분석을 수행하여 다양한 종류의 역설적 설명에 대해 지표의 강건성과 신뢰성을 검증한다.

실험 결과

연구 질문

• RQ1 기존의 정량적 지표는 복잡한 데이터셋에서 현실적인 역설적 설명과 매우 작은 적대적 공격과 유사한 변화를 신뢰성 있게 구분할 수 있는가?
• RQ2 현재 지표는 해석이 불가능한데도 불구하고 매우 작고 눈에 띄지 않는 변화로 인해 얼마나 민감한가?
• RQ3 매우 작은 변형에 영향을 덜 받고 현실성과 일반 타당성을 더 잘 반영하는 새로운 지표를 설계할 수 있는가?
• RQ4 어떤 지표 조합이 시각적 역설적 설명 품질 평가에서 가장 신뢰할 수 있고 종합적인 평가를 제공하는가?

주요 결과

• CelebA-HQ와 같은 복잡한 데이터셋에서는 EN 및 IM1/IM2와 같은 기존 지표가 현실적인 역설적 설명과 매우 작은 적대적 공격과 유사한 변화를 구분하지 못하며, 종종 후자를 선호하는 경향을 보인다.
• 레이블 변동 점수(Label Variation Score, LVS)는 GEN 방법이 관련 레이블(예: 메이크업, 매력도, 립스틱)에 걸쳐 더 의미 있고 일반화 가능한 변화를 만들어내는 것을 성공적으로 식별한다. 반면 GL은 낮은 LVS를 보이며, 모델에 특화된, 적대적 공격과 유사한 행동을 한다는 것을 시사한다.
• 오라클 점수는 생성 기반 방법(GEN)이 예측 클래스를 가장 효과적으로 변화시키며, GB 및 GL을 능가함을 정확히 식별하며, 정성적 평가와도 일치한다.
• FID256와 LVS의 조합은 현실성과 타당성 평가에 신뢰할 수 있는 기준을 제공하며, EN 거리는 FID와 LVS 점수가 유사한 메서드 간 비교에선 여전히 유용하다.
• 매우 작은 적대적 공격과 유사한 변화는 기존 지표인 EN 및 IM1/IM2에서 높은 점수를 기록하는 경향이 있어, 이러한 변형에 대한 취약성을 입증한다.
• 제안된 LVS와 오라클 점수는 작은, 현실적이지 않은 변화에 덜 민감하며, 특히 복잡한 데이터에서 인간의 직관적인 역설적 설명 품질 개념을 더 잘 반영한다.