[논문 리뷰] Scalable Interpretability via Polynomials

Abhimanyu Dubey, Filip Radenović외 1명|arXiv (Cornell University)|2022. 05. 27.

Explainable Artificial Intelligence (XAI)인용 수 9

한 줄 요약

이 논문은 다항식의 저질서 텐서 분해를 통해 조합적 폭발 없이 고차원 특성 간 상호작용을 효율적으로 포착할 수 있는, 본질적으로 해석 가능한 기계학습 모델인 확장 가능한 다항식 덧셈 모델(SPAM)을 소개한다. SPAM은 최대 100,000개의 특성을 가진 실세계 벤치마크에서 최신 기준 성능을 달성하며, 딥러닝(DNN)과 XGBoost의 성능을 따라가지만 인간 평가를 통해 더 뛰어난 해석 가능성으로 검증되었다.

ABSTRACT

Generalized Additive Models (GAMs) have quickly become the leading choice for inherently-interpretable machine learning. However, unlike uninterpretable methods such as DNNs, they lack expressive power and easy scalability, and are hence not a feasible alternative for real-world tasks. We present a new class of GAMs that use tensor rank decompositions of polynomials to learn powerful, {\em inherently-interpretable} models. Our approach, titled Scalable Polynomial Additive Models (SPAM) is effortlessly scalable and models {\em all} higher-order feature interactions without a combinatorial parameter explosion. SPAM outperforms all current interpretable approaches, and matches DNN/XGBoost performance on a series of real-world benchmarks with up to hundreds of thousands of features. We demonstrate by human subject evaluations that SPAMs are demonstrably more interpretable in practice, and are hence an effortless replacement for DNNs for creating interpretable and high-performance systems suitable for large-scale machine learning. Source code is available at https://github.com/facebookresearch/nbm-spam.

연구 동기 및 목표

• 딥러닝(DNN)과 같은 투명하지 않은 모델의 대안으로, 모델 성능와 해석 가능성 간의 상충 관계를 해결하기 위해 확장 가능하고 본질적으로 해석 가능한 모델을 개발하는 것.
• 기존의 해석 가능한 모델의 한계—낮은 확장성, 표현력 부족, 고차원 상호작용 모델링의 비현실성—을 다항식 표현을 활용해 극복하는 것.
• 낮은 질서 텐서 분해를 사용하여 조합적 폭발을 방지함으로써, 대규모에서 전체 특성 상호작용 모델링이 가능한 효율적인 엔드 투 엔드 훈련을 가능하게 하는 것.
• -controlled 상호작용 차수를 가진 다항식 기반 모델이 비해석 가능한 모델의 성능을 따라잡으면서도 더 뛰어난 해석 가능성을 제공함을 경험적으로 검증하는 것.
• 사람 대상 평가를 통해 SPAM의 설명이 LIME이나 SHAP과 같은 사후 해석 방법보다 더 충실하고 해석 가능하다는 것을 입증하는 것.

제안 방법

• 모델은 다항식 함수를 사용하여 특성 간 상호작용을 모델링하며, 계수는 저질서 텐서 분해를 통해 매개변수화되어 있어 효율적인 학습과 파rameter 수 감소를 가능하게 한다.
• 모델은 각 특성이 비선형적으로 변환되는 일반화된 덧셈 구조를 사용하며, 전체 상호작용 텐서의 저질서 근사에 의해 상호작용을 포착한다.
• 경사 하강법(SGD)과 역전파를 사용한 엔드 투 엔드 훈련을 통해 GPU 가속과 함께 100,000개 이상의 특성을 가진 데이터셋에까지 확장 가능하다.
• 다항식 계수 텐서에 질서 제약 조건을 도입함으로써 모델 복잡도를 제어하고, 조합적 폭발 없이도 효율적인 최적화를 가능하게 한다.
• 특성 변환에 대해 선형(SPAM-Linear) 및 신경망(SPAM-Neural) 매개변수화 방식을 모두 지원하여 모델 용량에 대한 유연성을 제공한다.
• 粗모양의 정규성 가정 하에 이론적으로 수렴성과 비점근적 초과 위험 한계를 확립하였으며, 표본 크기가 증가함에 따라 SPAM이 최적의 다항식에 수렴함을 보였다.

실험 결과

연구 질문

• RQ1 저질서 텐서 분해를 사용한 다항식 모델은 대규모 특성 공간에서 높은 성능을 달성하면서도 확장 가능할 수 있는가?
• RQ2 다항식 분해를 통해 가능한 모든 특성 간 상호작용을 모델링하면, 상호작용 유형을 제한하거나 비용이 많이 드는 특성 선택이 필요한 기존의 해석 가능한 모델보다 성능이 뛰어나지 않는가?
• RQ3 SPAM은 수십만 개의 특성을 가진 실세계 표본 데이터에서 DNN 및 XGBoost의 예측 정확도를 따라잡을 수 있는가?
• RQ4 실제로 LIME이나 SHAP과 같은 사후 해석 방법보다 SPAM의 설명이 더 충실하고 해석 가능한가?
• RQ5 다항식 상호작용의 차수(예: 이차 상호작용 대 고차원 상호작용)가 성능에 상당한 영향을 미치는가, 그리고 낮은 차수의 모델로도 높은 정확도를 달성할 수 있는가?

주요 결과

• SPAM은 다양한 실세계 표본 데이터 기반 벤치마크에서 현재의 모든 해석 가능한 기준 모델을 능가하며, 최대 100,000개의 특성을 가진 데이터셋에서 DNN 및 XGBoost 수준의 성능을 달성한다.
• 대부분의 실세계 표본 데이터셋에서 이차 상호작용(2차 SPAM)이 DNN 성능을 따라잡는 데 충분하며, 이는 비선형 변환의 복잡성보다 상호작용 모델링이 더 중요하다는 것을 시사한다.
• 사람 대상 평가 결과, SPAM의 설명은 LIME이나 SHAP과 같은 사후 해석 방법보다 더 충실하고 해석 가능하다는 것이 확인되었으며, 이는 투명하지 않은 모델의 즉각적인 대체 가능성을 뒷받침한다.
• 비슷한 해석 가능한 모델 대비 SPAM은 파rameter 수를 수 개의 주기로 감소시켰으며, 이로 인해 SGD와 GPU 가속을 통한 효율적인 훈련이 가능해졌다.
• 이론적 분석을 통해 SPAM는 정규성 가정 하에 최적의 다항식으로 수렴하며, 선형 및 전체 질서 다항식에 대한 고전적 결과와 동일한 비점근적 초과 위험 한계를 제공함을 입증하였다.
• 이전의 해석 가능한 모델이 계산 불가능성이나 상호작용 모델링에서의 조합적 폭발로 실패하는 대규모 문제에 대해 SPAM는 효과적으로 확장 가능하다.