[논문 리뷰] Disentangling Influence: Using disentangled representations to audit model predictions

Charles T. Marx, Richard L. Phillips외 3명|arXiv (Cornell University)|2019. 06. 20.

Machine Learning and Data Classification인용 수 10

한 줄 요약

이 논문은 블랙박스 모델에서 간접적인 특징 영향을 식별하고 측정하기 위해 분리된 표현을 활용하는 분리된 影響 감사(Disentangled Influence Audits)를 소개한다. 분리 기법을 통해 프록시 특징을 분리함으로써, 이 방법은 국소적 및 집합적 수준에서 이러한 프록시가 예측에 미치는 영향을 정밀하고 해석 가능한 방식으로 감사할 수 있게 한다. 이는 기존 방법보다 간접적 영향을 탐지하고 측정하는 데서 뛰어난 성능을 발휘한다.

ABSTRACT

Motivated by the need to audit complex and black box models, there has been extensive research on quantifying how data features influence model predictions. Feature influence can be direct (a direct influence on model outcomes) and indirect (model outcomes are influenced via proxy features). Feature influence can also be expressed in aggregate over the training or test data or locally with respect to a single point. Current research has typically focused on one of each of these dimensions. In this paper, we develop disentangled influence audits, a procedure to audit the indirect influence of features. Specifically, we show that disentangled representations provide a mechanism to identify proxy features in the dataset, while allowing an explicit computation of feature influence on either individual outcomes or aggregate-level outcomes. We show through both theory and experiments that disentangled influence audits can both detect proxy features and show, for each individual or in aggregate, which of these proxy features affects the classifier being audited the most. In this respect, our method is more powerful than existing methods for ascertaining feature influence.

연구 동기 및 목표

• 복잡한 블랙박스 모델에서 간접적 특징 영향 감사를 수행하는 데에 미처 메워지지 않은 격차를 해소하기 위해.
• 분리된 표현을 통해 예측에 간접적으로 영향을 주는 프록시 특징을 식별하기 위해.
• 개별 예측과 집합적 결과에 대한 특징 영향을 명시적으로 계산할 수 있도록 하기 위해.
• 기존의 영향 감사 방법보다 더 강력하고 해석 가능한 대안을 제공하기 위해.

제안 방법

• 입력 특징을 분리된 변동 요인들로 분해하기 위해 분리된 표현을 활용하기 위해.
• 목표 예측과 상관관계가 있는 분리된 구성요소를 분석함으로써 프록시 특징을 식별하기 위해.
• 분리된 표현에 영향 함수 또는 유사한 방법을 사용하여 영향 점수를 계산하기 위해.
• 영향 계산을 국소적(각 예측에 대해) 및 전역적(데이터 분포 전체에 대해)으로 적용하기 위해.
• 원시 입력 특징이 아닌 특정 프록시 특징에 영향을 고립하고 기여도를 부여하기 위해 분리된 구조를 활용하기 위해.
• 분리 기법과 영향 분석을 융합하여 직접적 영향 경로와 간접적 영향 경로를 구분하기 위해.

실험 결과

연구 질문

• RQ1 어떻게 분리된 표현을 활용하여 예측에 간접적으로 영향을 주는 프록시 특징을 탐지할 수 있는가?
• RQ2 분리된 영향 감사는 기존 방법보다 얼마나 더 정확하게 간접적 영향을 측정할 수 있는가?
• RQ3 분리된 영향 감사는 어떤 프록시 특징이 개별 예측이나 집합적 결과에 가장 강하게 영향을 주는지 식별할 수 있는가?
• RQ4 이 방법은 실제 데이터셋에서 직접적 영향과 간접적 영향을 어떻게 정확히 구분하는가?

주요 결과

• 분리된 영향 감사는 직접적으로 예측에 기여하지 않지만 간접 경로를 통해 모델 결과에 영향을 주는 프록시 특징을 성공적으로 탐지한다.
• 이 방법은 국소적 및 집합적 수준에서 특정 프록시 특징에 대한 영향을 정밀하게 기여도를 기입할 수 있다.
• 분리된 표현은 의미 있는 분리된 변동 요인을 고립함으로써 영향 분석의 해석 가능성을 향상시킨다.
• 기존의 영향 감사 기법보다 간접적 영향을 식별하고 측정하는 데서 뛰어난 성능을 발휘한다.
• 실험 결과에 따르면, 분리된 영향 감사는 기존 표준 영향 방법으로는 탐지할 수 없는 숨겨진 종속성과 프록시 관계를 드러낼 수 있다.
• 이 방법은 다양한 데이터셋과 모델 아키텍처에서 간접적 영향 메커니즘을 식별하는 데 있어 뛰어난 강건성을 보였다.