[논문 리뷰] GANDALF: Gated Adaptive Network for Deep Automated Learning of Features

Manu Joseph, Harsh Raj|arXiv (Cornell University)|2022. 07. 18.

Advanced Neural Network Applications인용 수 12

한 줄 요약

GANDALF는 타뷸라 데이터를 위한 새로운 딥러닝 아키텍처를 제안하며, Gated Feature Learning Unit(GFLU)를 통해 내장된 특성 선택 및 해석 가능성 기능을 제공한다. 이는 비시계열 데이터에 적합하게 조정된 GRU에서 유래한 새로운 게이팅 메커니즘을 활용한다. 다양한 벤치마크에서 최신 기술(SOTA) 수준이거나 경쟁 가능한 성능을 기록하며, 하이퍼파rameter 조정이 최소화되고, 파라미터 수와 계산 비용이 적은 효율적인 모델이다.

ABSTRACT

We propose a novel high-performance, interpretable, and parameter \& computationally efficient deep learning architecture for tabular data, Gated Adaptive Network for Deep Automated Learning of Features (GANDALF). GANDALF relies on a new tabular processing unit with a gating mechanism and in-built feature selection called Gated Feature Learning Unit (GFLU) as a feature representation learning unit. We demonstrate that GANDALF outperforms or stays at-par with SOTA approaches like XGBoost, SAINT, FT-Transformers, etc. by experiments on multiple established public benchmarks. We have made available the code at github.com/manujosephv/pytorch_tabular under MIT License.

연구 동기 및 목표

• 타뷸라 데이터 분석에서 딥러닝과 기울기 부스팅 결합 의사결정 트리(GBDTs) 간의 성능 격차를 해소하기 위해.
• 높은 정확도와 해석 가능성을 유지하면서도 파라미터 수와 계산 비용이 적은 효율적인 딥러닝 아키텍처를 개발하기 위해.
• 표현 학습 향상을 위한 내장된 특성 선택 및 희박성 제어 기능을 갖춘 새로운 타뷸라 처리 유닛을 도입하기 위해.
• 일반화 가능성을 확보하기 위해 정제된 데이터셋이 아닌 다양한 공개 벤치마크에서 모델을 평가하기 위해.
• 기존의 타뷸라 데이터를 위한 딥러닝 모델보다 하이퍼파rameter 조정이 필요한 수를 줄이기 위해.

제안 방법

• 딥 네트워크 내에서 표준 MLP를 대체하기 위해 학습 가능하고 희박하며 해석 가능한 처리 유닛인 Gated Feature Learning Unit(GFLU)를 제안한다.
• 비시계열 타뷸라 데이터에 적합하게 조정된 Gated Recurrent Units(GRUs)에서 영감을 얻은 새로운 게이팅 메커니즘을 도입하여 동적 특성 표현 학습을 가능하게 한다.
• 특성 흐름을 제어하는 게이팅 메커니즘을 통해 학습 가능한 희박성을 활용하여 노이즈를 줄이고 모델 효율성을 향상시킨다.
• 배치 정규화 없이도 미분 가능 특성 선택이 가능한 α-entmax 함수를 사용한다.
• 각 GFLU 스테이지가 점진적인 정교화와 희박성을 통해 특성을 처리하는 다단계 아키텍처를 적용한다.
• 다양한 공개 벤치마크에서 GFLU 스테이지 수, 초깃값 희박성, 드롭아웃, 가중치 감쇠 등의 하이퍼파rameter를 조정한다.

실험 결과

연구 질문

• RQ1 내장된 특성 선택 및 해석 가능성을 갖춘 딥러닝 아키텍처가 공개 타뷸라 벤치마크에서 최신 기술(GBDT) 모델을 능가하거나 동등하게 성능을 낼 수 있는가?
• RQ2 GRU에서 영감을 얻은 새로운 게이팅 메커니즘이 비시계열 타뷸라 데이터에서 표현 학습을 향상시키는가?
• RQ3 XGBoost, SAINT, FT-Transformers와 같은 모델들과 비교해 GANDALF의 정확도, 파라미터 효율성, 추론 속도 측면에서의 성능은 어떠한가?
• RQ4 다양한 복잡도와 특성 유형을 가진 다양한 타뷸라 데이터셋에서 모델의 성능이 얼마나 견고한가?
• RQ5 기존의 타뷸라 데이터를 위한 딥러닝 모델과 비교해 하이퍼파rameter 조정이 필요한 수는 얼마나 되는가?

주요 결과

• GANDALF는 18개의 공개 벤치마크에서 최신 기술 수준이거나 경쟁 가능한 성능을 기록했으며, 랜덤 하이퍼파rameter 시도 5회 이내로 18개 데이터셋 중 13개에서 최고 점수를 기록했다.
• TabSurvey 벤치마크에서 California Housing에서 테스트 MSE는 0.160±0.006을 기록하여 XGBoost(0.206±0.005)와 SAINT(0.226±0.004)를 능가했다.
• default-credit-card 데이터셋에서 GANDALF는 테스트 오차 5.01×10⁻³을 기록했으며, XGBoost(6.30×10⁻³)와 FT-Transformer(3.98×10⁻³)를 모두 능가했다.
• 특성 제거 실험 결과, 가장 관련성이 높은 특성을 제거할 경우 성능 저하가 심각하게 발생했으며, 이는 XGBoost의 특성 중요도와 유사하여 GANDALF의 해석 가능성과 특성 선택 능력을 확인시켰다.
• yprop_4_1 및 Mercedes와 같은 어려운 데이터셋을 포함한 다양한 데이터셋에서 모델이 견고하게 작동했으며, 최소한의 튜닝으로 최신 기술 모델과 동등하거나 승리했다.
• 많은 최신 기술 모델과 비교해 GANDALF는 하이퍼파rameter 조정이 훨씬 적은 편으로, 총 다섯 가지의 핵심 하이퍼파rameter만 필요하다: GFLU 스테이지 수, 초깃값 희박성, GFLU 드롭아웃, 학습률, 가중치 감쇠.