[논문 리뷰] Ultra-marginal Feature Importance: Learning from Data with Causal Guarantees

Joseph Janssen, Vincent Guan외 1명|arXiv (Cornell University)|2022. 04. 21.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 논문은 인과적 보장을 갖춘 관찰 데이터에서 특성 중요도를 정량화하기 위한 새로운 방법인 초미세특성중요도(UMFI)를 소개한다. 정당성 제거 기법을 활용하여 정보를 유지하면서 상관관계가 없는 표현을 생성함으로써, UMFI는 MCI와 같이 지수적 실행 시간에서 초선형으로 감소시키면서도 관련 특성과 진정으로 중요한 특성들을 더 정확하게 식별한다.

ABSTRACT

Scientists frequently prioritize learning from data rather than training the best possible model; however, research in machine learning often prioritizes the latter. Marginal contribution feature importance (MCI) was developed to break this trend by providing a useful framework for quantifying the relationships in data. In this work, we aim to improve upon the theoretical properties, performance, and runtime of MCI by introducing ultra-marginal feature importance (UMFI), which uses dependence removal techniques from the AI fairness literature as its foundation. We first propose axioms for feature importance methods that seek to explain the causal and associative relationships in data, and we prove that UMFI satisfies these axioms under basic assumptions. We then show on real and simulated data that UMFI performs better than MCI, especially in the presence of correlated interactions and unrelated features, while partially learning the structure of the causal graph and reducing the exponential runtime of MCI to super-linear.

연구 동기 및 목표

• 과학적 추론에서 기존 특성 중요도 방법의 한계를 해결하기 위해, 특히 상관관계가 있는 특성에 대한 처리 부족과 높은 계산 비용을 개선한다.
• MCI의 단점을 극복하기 위해, 종속성 제거 기반의 새로운 프레임워크를 도입함으로써 지수적 실행 시간, 상관관계 있는 특성의 과소평가, 관련 없는 특성에 대한 잘못된 중요도를 해결한다.
• 데이터 내 인과적 및 연관 관계 설명을 위한 축약 조건을 만족하는 이론적으로 탄탄한 방법을 개발한다.
• MCI 대비 성능을 유지하거나 향상시키면서도 초선형 실행 시간 스케일링을 달성한다.
• 모델 의존도를 줄이고 특성 중요도의 강건성을 향상시켜 관찰 데이터에서 신뢰할 수 있는 과학적 추론을 가능하게 한다.

제안 방법

• 특성 중요도를 위한 새로운 축약 조건 프레임워크를 제안하여 데이터 내 인과적 및 연관 관계 설명을 우선시한다.
• 선형 회귀와 최적 운반 이론을 활용한 종속성 제거를 통해, 관심 특성과 상관관계가 없지만 예측 정보를 유지하는 특성 표현을 생성한다.
• UMFI를 정의한다: 종속성 제거 후, 관심 특성이 포함된 모델과 포함되지 않은 모델 간 예측 능력의 최대 차이로 정의한다.
• 약한 가정 하에 UMFI가 제안된 축약 조건을 만족함을 엄밀히 증명하여 이론적 타당성을 확보한다.
• MCI의 지수적 비용을 피하면서도 초선형 시간 복잡도로 UMFI를 계산할 수 있는 확장 가능한 알고리즘을 구현한다.
• 실제 데이터셋(BRCA, CAMELS)과 시뮬레이션 데이터를 적용하여 성능 및 강건성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 관찰 데이터에서 인과적 및 연관 관계 설명을 위한 이론적 축약 조건을 만족하는 특성 중요도 방법을 설계할 수 있는가?
• RQ2 선형 회귀나 최적 운반 이론을 통한 종속성 제거가 상관관계가 있는 특성 존재 조건에서 특성 중요도 추정을 향상시키는가?
• RQ3 UMFI가 MCI와 같이 지수적 실행 비용에서 초선형으로 감소시키면서도 정확도를 유지하거나 향상시킬 수 있는가?
• RQ4 실제 세계의 복잡한 의존성을 지닌 데이터셋에서 UMFI는 MCI, PI, CPI 및 아블레이션 대비 진정으로 중요한 특성을 어떻게 더 잘 식별하는가?
• RQ5 UMFI는 BRCA 및 CAMELS 데이터셋에서 알려진 생물학적 및 수문학적 관계를 어느 정도 회복할 수 있는가?

주요 결과

• UMFI는 MCI와 같이 지수적 실행 시간에서 초선형으로 감소시켜 중대형 데이터셋에서 실용적으로 사용할 수 있게 한다.
• BRCA 데이터셋에서 UMFI는 BCL11A와 CST9L을 상위 특성으로 정확히 식별하여 알려진 생물학적 연관성과 일치하며, SLC25A1에 대해 잘못된 중요도를 부여하지 않는다.
• CAMELS 수문학 데이터셋에서 UMFI는 평균 강수량과 갈라진 지수를 가장 중요한 특성으로 정확히 식별하여 이전 수문학 연구와 일치한다.
• UMFI는 상호작용 효과가 관련된 특성의 상관관계를 더 잘 식별하여 MCI의 특성 과소평가 문제를 피한다.
• 최적 운반 이론과 선형 회귀 전처리를 통해 특성 종속성을 감소시키지만 완전히 제거하지는 않지만, 여전히 신뢰할 수 있는 중요도 점수를 제공한다.
• 실제 데이터에서 UMFI는 PI 및 MCI 수준의 성능를 달성하면서도, 아블레이션의 높은 분산과 CPI의 잘못된 결과를 피한다.