[논문 리뷰] Finding Influential Training Samples for Gradient Boosted Decision Trees

Boris Sharchilev, Yury Ustinovsky외 2명|arXiv (Cornell University)|2018. 02. 19.

Explainable Artificial Intelligence (XAI)참고 문헌 15인용 수 19

한 줄 요약

이 논문은 기울기 기반 영향도 추정과 나무 구조의 안정성을 활용하여 기울기 부스팅 결정 트리(GBDT)에서 영향력 있는 학습 샘플을 효율적으로 추정하는 FastLeafRefit와 FastLeafInfluence를 제안한다. 이 방법들은 전체 재학습보다 빠르면서도 실제 시나리오에서 영향력 있는 샘플을 정확히 식별할 수 있으며, 모델 동작에 대한 빠른 실질적 통찰을 제공한다 — 예를 들어 데이터 편향 탐지나 레이블링 우선순위 설정 등.

ABSTRACT

We address the problem of finding influential training samples for a particular case of tree ensemble-based models, e.g., Random Forest (RF) or Gradient Boosted Decision Trees (GBDT). A natural way of formalizing this problem is studying how the model's predictions change upon leave-one-out retraining, leaving out each individual training sample. Recent work has shown that, for parametric models, this analysis can be conducted in a computationally efficient way. We propose several ways of extending this framework to non-parametric GBDT ensembles under the assumption that tree structures remain fixed. Furthermore, we introduce a general scheme of obtaining further approximations to our method that balance the trade-off between performance and computational complexity. We evaluate our approaches on various experimental setups and use-case scenarios and demonstrate both the quality of our approach to finding influential training samples in comparison to the baselines and its computational efficiency.

연구 동기 및 목표

• 산업에서 널리 사용되는 비모수적 트리 앙상블 모델인 GBDT에 대한 확장 가능한 영향도 분석 방법의 부족을 해결한다.
• 원래 부드러운 모수적 모델을 위해 설계된, 영향도 함수 프레임워크를 비연속적이며 미분 불가능한 GBDT 학습의 특성에 적응하도록 확장한다.
• 정확성과 속도 사이의 균형을 잡고 실용적인 머신러닝 워크플로우에 적용 가능한 계산 효율적인 근사 방법을 개발한다.
• 데이터 편향이나 일반화 부족을 일으키는 영향력 있는 학습 샘플을 자동으로 식별함으로써 실질적인 모델 개선을 가능하게 한다.
• 개별 학습 인스턴스가 테스트 예측에 미치는 영향을 정량화함으로써 타겟 데이터 정제, 모델 디버깅, 활성 학습을 위한 프레임워크를 제공한다.

제안 방법

• 나무 구조가 소규모 학습 샘플 변경 후에도 유지된다는 가정 하에, 이에 기반해 이산적 재학습과 무한소 가중치 변형을 각각 기반으로 한 LeafRefit와 LeafInfluence를 영향도의 대체 지표로 제안한다.
• GBDT의 가분성 구조를 활용하고 전체 재학습을 피하기 위해 리프 수준 기여도를 사전 계산함으로써 LeafRefit의 계산 효율적인 근사인 FastLeafRefit를 도입한다.
• GBDT 손실 함수의 해석적 도함수를 사용해 학습 샘플 가중치에 대한 모델 예측의 도함수를 추정하는 기울기 기반 방법인 FastLeafInfluence를 개발한다.
• 경로 기반 기울기 집계와 리프 수준 업데이트를 통해 재학습 없이도 영향도 점수를 계산함으로써 전체 이산적 재학습 대비 계산 비용을 크게 감소시킨다.
• 대규모 환경에서 정확성 대비 속도를 조율하기 위해 가장 관련성이 높은 리프들만 선택하는 계층적 근사 체계를 구현한다.
• 각 트리가 이전 모델의 오차를 수정하는 기울기 부스팅의 구조를 활용하여, 중간 예측값과 1차/2차 도함수를 사용해 영향도 추정치를 부스팅 단계를 거쳐 전파한다.

실험 결과

연구 질문

• RQ1 전체 재학습 없이도 GBDT 모델의 영향도 추정이 계산적으로 가능하게 할 수 있는가?
• RQ2 FastLeafRefit와 FastLeafInfluence는 이산적 재학습으로 측정된 진정한 영향도를 어느 정도 잘 근사하는가?
• RQ3 데이터 편향이나 도메인 분포 변화가 있는 상황에서 이러한 방법들은 영향력 있는 샘플을 얼마나 잘 식별하는가?
• RQ4 이러한 방법들은 데이터 정제나 활성 학습과 같은 실질적 모델 개선을 이끌 수 있는가?
• RQ5 다양한 근사 수준에서 계산 효율성과 정확성 간의 상호 상충 관계는 어떠한가?

주요 결과

• FastLeafRefit와 FastLeafInfluence는 데이터 편향이 존재하는 상황에서도 가장 영향력 있는 학습 샘플을 성공적으로 식별하였으며, 연령대 [40;50)이고 레이블 y=1인 샘플이 테스트 손실에 가장 높은 음의 영향을 미쳤다.
• FastLeafInfluence의 영향도 점수는 이산적 재학습 결과와 매우 유사했으며, y=1, 연령대∈[40;50) 샘플의 평균 영향도는 -0.652로, 이들의 제거가 테스트 손실을 크게 증가시킴을 시사했다.
• y=0이고 연령대∈[40;50)인 샘플들은 유익한 영향을 미치는 것으로 밝혀졌으며, 이는 FastLeafRefit에서 +0.151의 양의 영향도를 보여, 훈련 및 테스트 데이터 분포를 일치시키는 데 기여함을 확인했다.
• FastLeafRefit와 FastLeafInfluence는 전체 재학습 대비 뚜렷한 속도 향상을 보였으며, Top64Leaves 변형은 계산 시간을 줄이면서도 높은 정확도의 영향도 순위 유지에 성공했다.
• 이 방법들은 합성 데이터, 실제 테이블형 데이터, 도메인 분포 변화 실험 등 다양한 데이터셋과 상황에서 뛰어난 강건성을 보였으며, 일반화 능력을 확인했다.
• 고려하는 리프의 수가 많을수록 근사 정확도가 향상되었지만(예: Top64Leaves), 심지어 Top1Leaves 조차도 전체 재학습 결과와 강한 일치를 보여, 최소한의 오버헤드로도 실용적인 유용성을 입증했다.