[논문 리뷰] Supervising Feature Influence

Shayak Sen, Piotr Mardziel외 2명|arXiv (Cornell University)|2018. 03. 28.

Machine Learning and Data Classification참고 문헌 8인용 수 6

한 줄 요약

이 논문은 기계 학습 모델에서 원인적 영향을 제약하여 인과 테스트에서의 공변량 이동 문제를 해결하기 위해 새로운 활성 학습 알고리즘을 소개한다—즉, 동일한 내분포 성능을 보이는 모델들이 특성 영향에서 크게 다를 수 있는 상황이다. 반사적 질의와 지도된 특성 선택을 통해, 이 방법은 기준 모델에 가까운 원인적 영향을 가진 모델을 훈련시켜 내분포 정확도를 유지하면서도 외분포 일반화 능력을 향상시킨다.

ABSTRACT

Causal influence measures for machine learnt classifiers shed light on the reasons behind classification, and aid in identifying influential input features and revealing their biases. However, such analyses involve evaluating the classifier using datapoints that may be atypical of its training distribution. Standard methods for training classifiers that minimize empirical risk do not constrain the behavior of the classifier on such datapoints. As a result, training to minimize empirical risk does not distinguish among classifiers that agree on predictions in the training distribution but have wildly different causal influences. We term this problem covariate shift in causal testing and formally characterize conditions under which it arises. As a solution to this problem, we propose a novel active learning algorithm that constrains the influence measures of the trained model. We prove that any two predictors whose errors are close on both the original training distribution and the distribution of atypical points are guaranteed to have causal influences that are also close. Further, we empirically demonstrate with synthetic labelers that our algorithm trains models that (i) have similar causal influences as the labeler's model, and (ii) generalize better to out-of-distribution points while (iii) retaining their accuracy on in-distribution points.

연구 동기 및 목표

• 내분포 성능이 동일한 모델들이 원인적 영향에서 크게 다를 수 있는 상황에서 공변량 이동 문제를 특정하고 형식화하는 것.
• 반사적 질의를 통해 특성 영향을 제약하는 활성 학습 프레임워크를 설계하여 이 문제를 해결하는 것.
• 내분포 정확도를 유지하면서도 외분포 점으로의 일반화 능력을 향상시키는 것.
• 신뢰할 수 있는 기준 모델과의 비교를 통해 특성 영향을 검증할 수 있는 메커니즘을 제공하여 모델 개발의 책임성 확보

제안 방법

• 이 방법은 두 개의 오라클 구조를 사용한다: 특성 선택 오라클과, 다른 특성들은 고정한 채로 특성을 변형하여 반사적 데이터 포인트를 생성하는 레이블링 오라클.
• 기본 모델과 현재 모델 간의 영향 차이가 가장 큰 특성을 선택하는 지도된 활성 학습 전략을 사용한다.
• 알고리즘은 반복적으로 반사적 포인트의 레이블을 수집하고, 모델을 재학습시어 기준 모델의 원인적 영향과 일치시킨다.
• 두 모델이 원래 분포와 반사적 분포에서 유사한 오차를 보일 경우, 그들의 원인적 영향도 유사하다는 것을 엄밀히 증명한다.
• 이 방법은 합성 레이블러를 사용하여 평가되었으며, 로지스틱 회귀, 의사결정나무, 랜덤 포레스트를 사용해 adult, arrests, lending club 데이터셋에서 테스트되었다.
• 외분포 반사적 포인트를 사용한 결과와 대비하기 위해 비반사적 기준을 포함한다.

실험 결과

연구 질문

• RQ1 내분포 성능이 동일한 모델들이 원인적 영향에서 다를 수 있는 상황인 공변량 이동이 발생하는 조건은 무엇인가?
• RQ2 반사적 질의를 사용한 활성 학습이 모델의 원인적 영향을 기준 모델의 영향과 효과적으로 일치시킬 수 있는가?
• RQ3 반사적 학습을 통해 원인적 영향을 제약함으로써 내분포 정확도를 희생시키지 않고도 외분포 데이터로의 일반화 능력이 향상되는가?
• RQ4 수렴 속도와 영향 일치 정도 측면에서 지도된 특성 선택은 무작위 또는 비반사적 선택보다 어떻게 비교되는가?

주요 결과

• 지난 활성 학습 전략은 adult, arrests, lending club 세 데이터셋 전반에서 기준 모델의 원인적 영향과 일치시키는 데 더 빠른 수렴을 달성했다.
• 모델은 내분포 정확도를 유지했으며, 원래 데이터 분포에서의 검증 세트에서 안정적이거나 약간 향상된 테스트 오차로 이를 입증했다.
• 외분포 일반화 능력이 향상되었으며, 훈련 세트에 포함되지 않은 $D$의 일부가 포함된 별도의 편향 없는 데이터셋에서 오차가 감소함으로써 이를 입증했다.
• 무작위 오라클 기준은 지도된 오라클보다 수렴 속도가 더 느렸으며, 이는 특성 선택 전략이 효율성에 상당한 영향을 미친다는 것을 시사한다.
• 비반사적 기준은 원인 측정에 영향을 주지 못했으며, 이는 반사적 질의가 영향을 형성하는 데 필수적이라는 것을 확인한다.
• 이 방법은 기본 모델과 기준 모델 간의 영향 차이를 성공적으로 줄여 원인적 행동의 효과적인 일치를 보였다.