[논문 리뷰] On the Accuracy of Influence Functions for Measuring Group Effects

Pang Wei Koh, Kai-Siang Ang외 2명|arXiv (Cornell University)|2019. 05. 30.

Advanced Statistical Modeling Techniques참고 문헌 29인용 수 52

한 줄 요약

본 페이퍼는 그룹 데이터 제거에 대한 영향 함수(influence functions)를 실증적으로 분석하여 실제 효과와 강한 순위 상관관계를 보이고, 항상 과소추정되는 경향이 있음을 보여주며, 1단계 뉴턴 근사와 두 가지 사례 연구(CDR 및 MultiNLI)에 의해 뒷받침된다.

ABSTRACT

Influence functions estimate the effect of removing a training point on a model without the need to retrain. They are based on a first-order Taylor approximation that is guaranteed to be accurate for sufficiently small changes to the model, and so are commonly used to study the effect of individual points in large datasets. However, we often want to study the effects of large groups of training points, e.g., to diagnose batch effects or apportion credit between different data sources. Removing such large groups can result in significant changes to the model. Are influence functions still accurate in this setting? In this paper, we find that across many different types of groups and for a range of real-world datasets, the predicted effect (using influence functions) of a group correlates surprisingly well with its actual effect, even if the absolute and relative errors are large. Our theoretical analysis shows that such strong correlation arises only under certain settings and need not hold in general, indicating that real-world datasets have particular properties that allow the influence approximation to be accurate.

연구 동기 및 목표

• 대상 포인트가 아닌 크고 일관된 그룹을 제거하는 효과를 측정하는 동기를 제시한다.
• 실제 데이터셋에서 그룹 수준 교란에 대해 영향 함수가 여전히 정보를 제공하는지 평가한다.
• 예측된 그룹 효과와 실제 그룹 효과를 연결하는 이론적 프레임워크(1단계 Newton)를 개발한다.
• 레이블링 함수와 크라우드워커와 같은 실제 작업에서 그룹 영향이 가지는 실질적 함의를 탐구한다.

제안 방법

• 실제 그룹 효과 I*_f(w)와 영향 함수로 예측된 효과 I_f(w)를 정의한다.
• 해시안 H와 그래디언트 g를 이용한 1차 테일러(영향) 근사를 사용하여 I_f(w)를 계산한다.
• 삭제 후 매개변수 변화를 근사하기 위한 1단계 Newton 근사 Δθ_Nt(w)을 도입한다.
• 오류를 Newton-실제 및 Newton-영향 항으로 분해하고 라이피시츠 가정 아래 이를 상한으로 제시한다(정리 1–2).
• 자기 손실(self-loss)로의 특수화 및 단일 포인트의 복사본 제거에 대한 콘 모양 경계(정리 3–4)를 도출한다.
• 다섯 개 데이터셋에서 실증적으로 평가하고 데이터 소싱 질문(CDR, MultiNLI)에 대한 시사점을 논의한다.

실험 결과

연구 질문

• RQ1 큰 규모의 일관된 데이터 그룹을 제거할 때 영향 함수가 실제 그룹 효과와의 유용한 상관관계를 유지하는가?
• RQ2 영향 기반 예측이 실제 그룹 효과를 과소추정하거나 상관성이 감소하는 조건은 무엇인가?
• RQ3 1단계 Newton 근사가 예측된 그룹 효과와 실제 그룹 효과 간의 상관관계와 과소추정을 설명할 수 있는가?
• RQ4 그룹 영향이 실제 데이터 수집 시나리오(레이블링 함수 및 크라우드워커)에 어떻게 관련되는가?

주요 결과

• 영향 함수는 다양한 일관된 그룹에 대해 테스트 예측, 테스트 손실 및 자기 손실에서 실제 그룹 효과와 높은 상관관계를 보인다(Spearman 0.89–0.99).
• 예측된 영향은 대부분의 그룹 제거에서 실제 효과를 과소추정하는 경향이 있으며, 테스트 손실 효과가 음수일 때는 예외가 있다.
• 1단계 Newton 근사는 예측된 효과와 실제 효과 사이의 관계를 상당 부분 설명하고, 특정 설정에서 경계 조건(콘 제약)을 제공한다.
• 정규화 λ를 증가시키면 콘이 더 단단해지고 예측된 효과와 실제 효과 간의 상관관계가 개선된다.
• 케이스 연구를 통해 실무적 시사점을 제시: CDR의 레이블링 함수 커버리지는 테스트 손실에 대한 영향과 상관관계가 있지만, MultiNLI의 크라우드워커 규모는 영향력을 예측하지 못한다.