[논문 리뷰] DIVINE: Diverse Influential Training Points for Data Visualization and Model Refinement

Umang Bhatt, Isabel Chien외 2명|arXiv (Cornell University)|2021. 07. 13.

Data Visualization and Analytics참고 문헌 44인용 수 4

한 줄 요약

이 논문은 모델의 설명 가능성과 공정성 분석을 향상시키기 위해 다양하면서도 영향력이 높은 트레이닝 포인트의 부분집합을 식별하는 DIVINE 방법을 제안한다. 영향도 점수와 다양성 정규화를 조합함으로써 DIVINE는 서로 겹치지 않는 대표적인 포인트를 선별하여 특성 공간 전반에서 모델 행동을 더 잘 드러낸다. 사용자 연구에서 신뢰성과 모의 가능성 측면에서 기존 방법을 능가하며, 모델 개선을 위한 공정성에 악영향을 주는 데이터 포인트를 식별하는 데에도 기여한다.

ABSTRACT

As the complexity of machine learning (ML) models increases, resulting in a lack of prediction explainability, several methods have been developed to explain a model's behavior in terms of the training data points that most influence the model. However, these methods tend to mark outliers as highly influential points, limiting the insights that practitioners can draw from points that are not representative of the training data. In this work, we take a step towards finding influential training points that also represent the training data well. We first review methods for assigning importance scores to training points. Given importance scores, we propose a method to select a set of DIVerse INfluEntial (DIVINE) training points as a useful explanation of model behavior. As practitioners might not only be interested in finding data points influential with respect to model accuracy, but also with respect to other important metrics, we show how to evaluate training data points on the basis of group fairness. Our method can identify unfairness-inducing training points, which can be removed to improve fairness outcomes. Our quantitative experiments and user studies show that visualizing DIVINE points helps practitioners understand and explain model behavior better than earlier approaches.

연구 동기 및 목표

• 기존의 트레이닝 포인트 중요도 방법이 반복적이거나 이상치가 많은 포인트를 반환하여 모델 행동에 대한 통찰을 감소시키는 한계를 해결하기 위해.
• 영향력이 높으면서도 전체 특성 공간을 대표하는 트레이닝 포인트를 선별하는 방법을 개발하기 위해.
• 트레이닝 포인트 중요도를 공정성 지표로 확장하여 그룹 공정성에 악영향을 주는 데이터 포인트를 식별하기 위해.
• 정확도나 다른 지표에 영향을 최소한도로 줄이며 불공정성을 유발하는 포인트를 타겟으로 제거함으로써 모델 개선을 가능하게 하기 위해.
• 신뢰성 있는 정량적 실험과 사용자 연구를 통해 DIVINE의 효과성을 평가하기 위해.

제안 방법

• 이 방법은 영향도 점수 방법(예: 영향 함수(IF), 데이터 셰플리(DS))를 기반으로 하며, 이들의 점수를 입력으로 사용한다.
• 영향도(예: IF 또는 DS 점수)와 다양성 간의 트레이드오프를 정규화된 목적 함수를 통해 수식화하여 특성 공간 전반에서 중복되지 않는 포인트를 선별하도록 유도한다.
• 다양성은 선택된 포인트 간 유사도를 방지하는 커널 기반 정규화 항을 통해 강제로 구현되며, 데이터 매니폴드의 다양한 영역을 커버하도록 보장한다.
• 이 방법은 탄력적이며, 다양한 기존 방법과 통합이 가능한 임의의 영향도 점수에 적용 가능하다.
• 공정성 분석을 위해, 그룹 공정성 지표(예: 동등기회)에 대한 영향도 점수를 계산하여 공정성 결과에 비례적으로 영향을 미치는 포인트를 식별한다.
• 불공정성을 유발하는 포인트를 식별하고 제거함으로써 모델 개선을 가능하게 하며, 정확도나 다른 지표에 미치는 영향을 최소화한다.

실험 결과

연구 질문

• RQ1 트레이닝 포인트 선별에서 영향도와 다양성을 균형 잡는 방법이 기존의 영향도 중심 접근보다 모델 행동에 대한 보다 종합적인 통찰을 제공할 수 있는가?
• RQ2 다양한 영향력 있는 포인트를 포함함으로써 사용자가 모델 결정을 모의하고 신뢰하는 데 어떤 영향을 미치는가?
• RQ3 트레이닝 포인트의 영향도를 의미 있는 방식으로 공정성 지표로 확장하여 모델 결과의 편향을 식별하고 완화할 수 있는가?
• RQ4 식별된 불공정성 유발 포인트를 제거함으로써 공정성은 얼마나 향상되며, 이로 인해 전체 모델 성능이 얼마나 떨어지는가?
• RQ5 선택된 트레이닝 포인트의 다양성이 사용자가 모델의 의사결정 경계를 추론하는 시뮬레이션 작업에서 정확도에 어떤 영향을 미치는가?

주요 결과

• 사용자 연구 결과, DIVINE 포인트는 영향 함수(IF)에 비해 유의미하게 높은 신뢰성 평가 점수(평균 4.3/5)를 기록했으며, 참가자들은 더 뛰어난 대표성과 명확성 덕분이라고 언급했다.
• 모의 가능성 작업에서 DIVINE 포인트로부터 유도된 의사결정 경계는 진짜 경계와 코사인 유사도가 0.85(표본 수 m=10)를 기록하여 영향 함수(0.68)와 무작위 포인트(0.52)를 능가했다.
• 오직 5개의 포인트만 제공된 상황에서도 사용자들이 DIVINE 포인트에서 유도한 의사결정 경계는 코사인 유사도 0.72를 기록했으며, 이는 IF(0.58)와 무작위 포인트(0.48)보다 유의미하게 높았다.
• 다양성 선호도 설문 조사에서 10인의 프로토타입 연구에서 참가자 전원이 DIVINE가 IF나 데이터 셰플리보다 더 다양하다고 선택했다.
• 이 방법은 공정성에 영향을 주는 포인트를 성공적으로 식별했으며, 이를 제거함으로써 공정성 지표가 향상되었고(예: 동등기회 차이 40% 감소), 정확도 저하도 <1% 이내로 최소화되었다.
• 정량적 평가 결과, DIVINE 포인트는 IF나 DS보다 특성 공간의 더 넓은 영역을 커버함을 확인했으며, 높은 영향도이지만 좁은 영역에 집중하는 현상을 피했다.