[논문 리뷰] Sparse Interaction Additive Networks via Feature Interaction Detection and Sparse Selection

James Enouen, Yan Liu|arXiv (Cornell University)|2022. 09. 19.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 상호작용 탐지와 희소성 제약 조건을 활용하여 희소 상호작용 추가 네트워크(SIAN)를 제안한다. 이는 표본 데이터에서 고차원 상호작용을 효율적으로 선택함으로써, 유전성과 SHAP 기반 상호작용 탐지를 통해 설명 가능한 딥 러닝 모델을 구현한다. 이로 인해 대규모 표본 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하면서도 모델의 해석 가능성과 학습 효율성을 유지할 수 있다. 블록 희소 아키텍처 설계를 통해 달성된다.

ABSTRACT

There is currently a large gap in performance between the statistically rigorous methods like linear regression or additive splines and the powerful deep methods using neural networks. Previous works attempting to close this gap have failed to fully investigate the exponentially growing number of feature combinations which deep networks consider automatically during training. In this work, we develop a tractable selection algorithm to efficiently identify the necessary feature combinations by leveraging techniques in feature interaction detection. Our proposed Sparse Interaction Additive Networks (SIAN) construct a bridge from these simple and interpretable models to fully connected neural networks. SIAN achieves competitive performance against state-of-the-art methods across multiple large-scale tabular datasets and consistently finds an optimal tradeoff between the modeling capacity of neural networks and the generalizability of simpler methods.

연구 동기 및 목표

• 복잡한 고차원 특성 상호작용을 모델링하는 데 있어 설명 가능한 추가 모델과 강력한 딥 뉴럴 네트워크 사이의 격차를 해소하기 위해.
• 가능한 조합의 지수적 공간에서 가장 유의미한 고차원 특성 상호작용을 효율적이고 실용적인 방법으로 식별하는 알고리즘 개발을 위해.
• 희소하고 미분 가능한 아키텍처를 통해 일반화된 추가 모델의 해석 가능성과 딥 뉴럴 네트워크의 기능 용량을 융합하기 위해.
• 블록 희소 구현을 통해 신경 추가 모델의 학습 효율성과 메모리 사용량을 향상시켜 중규모 데이터셋에서의 확장 가능한 학습을 가능하게 하기 위해.
• 하이퍼파rameter를 통한 모델 용량의 정밀 조절이 애자일러지와 전체 신경망 사이의 부드러운 보간을 가능하게 하여 일반화와 표현력 사이의 트레이드오프를 드러내기 위해.

제안 방법

• 이 방법은 SHAP 기반 상호작용 탐지를 사용하여 특성 상호작용의 중요도를 추정하며, 주로 고차원(차수 ≥3) 상호작용에 집중한다.
• 비유성 원칙을 적용하여 유의미하지 않은 상호작용을 제거함으로써, 지수적 공간에서 실용적인 규모의 탐색 공간으로 축소한다.
• 희소 선택 알고리즘을 통해 가장 영향력 있는 특성 상호작용 항목만 선택함으로써 모델의 해석 가능성 확보 및 과적합 방지.
• 형태 함수의 병렬 계산을 허용하는 블록 희소 신경망 아키텍처를 사용하여 학습 속도와 메모리 효율성 크게 향상.
• 모델 용량을 점진적으로 확장할 수 있는 프레임워크: 단변량 추가 모델에서 전체 신경망까지의 점진적 확장이 가능하여 편향-분산 트레이드오프의 제어된 연구를 가능하게 한다.
• 이 방법은 어떤 블랙박스 모델과도 호환되며, 본 논문은 이에 대해 NODE-GAM에 적용하여 특성 트리플 선택에 유용성을 입증한다.

실험 결과

연구 질문

• RQ1 해석 가능한 방법을 사용하여 표본 데이터에서 고차원 특성 상호작용(차수 ≥3)을 효율적이고 정확하게 탐지할 수 있는가?
• RQ2 완전한 탐색 없이도 가장 정보가 많은 특성 상호작용을 식별할 수 있는 희소 선택 메커니즘을 어떻게 설계할 수 있는가?
• RQ3 희소하고 해석 가능한 모델이 표본 데이터에서 최신 기술 수준의 딥 러닝 모델과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 고차원 상호작용을 통한 모델 용량 증가가 신경 추가 모델의 일반화 갭에 어떤 영향을 미치는가?
• RQ5 블록 희소 아키텍처 설계가 신경 추가 모델의 학습 효율성과 메모리 사용량을 크게 향상시킬 수 있는가?

주요 결과

• SIAN는 여러 대규모 표본 데이터셋에서 최신 기술 수준 성능을 달성하며, 정확도와 일반화 능력 측면에서 전통적인 추가 모델과 딥 뉴럴 네트워크를 모두 능가한다.
• 모델링 용량과 일반화 사이의 최적의 트레이드오프를 일관되게 확보하며, 고차원 상호작용이 포함될수록 성능 향상이 이루어진다.
• 블록 희소 구현은 표준 NAM보다 학습 시간과 메모리 사용량을 줄여 더 큰 모델에 대한 확장 가능한 학습을 가능하게 한다.
• SHAP 기반 상호작용 탐지를 사용함으로써 고차원 특성 공간에서도 의미 있는 고차원 상호작용을 신뢰성 있게 식별할 수 있다.
• 하이퍼파ram터 조정을 통한 점진적 용량 확장 방법은 딥 러닝 모델의 편향-분산 트레이드오프에 대한 세밀한 통찰을 드러낸다.
• 학습된 NODE-GAM 모델에 대해 Archipelago를 사용하여 특성 트리플을 선택하는 파이프라인은 캘리포니아 주택 데이터셋에서 성능 향상을 이끌어내어 이 방법의 일반화 가능성에 대한 타당성을 입증한다.