[논문 리뷰] Hopular: Modern Hopfield Networks for Tabular Data

Bernhard Schäfl, Lukas Gruber외 2명|arXiv (Cornell University)|2022. 06. 01.

Advanced Neural Network Applications인용 수 12

한 줄 요약

Hopular은 각 레이어에서 전체 훈련 세트에 접근할 수 있도록 현대적인 연속형 호필드 네트워크를 외부 메모리로 통합하는 새로운 딥러닝 아키텍처를 제안한다. 이는 예측을 반복적으로 개선함으로써 성능을 향상시키며, 중간 크기의 타뷸라 데이터셋(예: 황)에서 XGBoost, CatBoost, LightGBM 및 기타 딥러닝 모델을 능가한다. 소규모 데이터셋에서는 기울기 부스팅을 초월하며, 메모리 증강 및 반복적 학습을 통해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

While Deep Learning excels in structured data as encountered in vision and natural language processing, it failed to meet its expectations on tabular data. For tabular data, Support Vector Machines (SVMs), Random Forests, and Gradient Boosting are the best performing techniques with Gradient Boosting in the lead. Recently, we saw a surge of Deep Learning methods that were tailored to tabular data but still underperform compared to Gradient Boosting on small-sized datasets. We suggest "Hopular", a novel Deep Learning architecture for medium- and small-sized datasets, where each layer is equipped with continuous modern Hopfield networks. The modern Hopfield networks use stored data to identify feature-feature, feature-target, and sample-sample dependencies. Hopular's novelty is that every layer can directly access the original input as well as the whole training set via stored data in the Hopfield networks. Therefore, Hopular can step-wise update its current model and the resulting prediction at every layer like standard iterative learning algorithms. In experiments on small-sized tabular datasets with less than 1,000 samples, Hopular surpasses Gradient Boosting, Random Forests, SVMs, and in particular several Deep Learning methods. In experiments on medium-sized tabular data with about 10,000 samples, Hopular outperforms XGBoost, CatBoost, LightGBM and a state-of-the art Deep Learning method designed for tabular data. Thus, Hopular is a strong alternative to these methods on tabular data.

연구 동기 및 목표

• 작고 중간 크기의 타뷸라 데이터셋에서 딥러닝의 지속적인 성능 격차를 해소하기 위해, 기존의 XGBoost 및 랜덤 포레스트와 같은 모델이 지배하는 환경에서의 성능 향상을 도모한다.
• 각 레이어에서 전체 훈련 세트에 직접 접근함으로써 예측을 반복적으로 개선할 수 있는 딥러닝 아키텍처를 개발한다.
• 타뷸라 데이터의 특징-특징, 특징-타깃, 샘플-샘플 간의 상관관계를 모델링하기 위해 현대적인 호필드 네트워크를 연속형 외부 메모리로 활용한다.
• 기본적인 방법들인 XGBoost, CatBoost, LightGBM 및 특화된 딥러닝 모델들을 벤치마크 타뷸라 데이터셋에서 능가한다.
• 메모리 증강 딥러닝과 반복적 추론이 데이터가 부족한 환경에서 기울기 부스팅에 맞서거나 이를 초월할 수 있음을 입증한다.

제안 방법

• Hopular의 각 레이어는 전체 훈련 세트에서 정보를 저장하고 검색함으로써 동적 메모리 접근을 가능하게 하는 현대적인 연속형 호필드 네트워크를 통합한다.
• 호필드 네트워크는 저장된 패턴에 대해 에너지 기반 어텐션을 계산하여, 각 레이어가 모든 훈련 샘플의 맥락 정보를 활용해 표현을 업데이트할 수 있도록 한다.
• 백프로파게이션을 통한 엔드 투 엔드 훈련을 지원하며, 모델은 반복 학습 알고리즘을 모방함으로써 예측을 다중 레이어를 통해 개선한다.
• 특징 표현은 각 레이어에서 관련 있는 훈련 샘플에 주목함으로써 업데이트되며, 이는 상호 특징 간 및 상호 샘플 간의 상관관계를 포착한다.
• 연속적이고 미분 가능한 메모리 메커니즘이 통합되어 저장된 패턴과 어텐션 가중치의 기울기 기반 최적화를 가능하게 한다.
• 모델은 표준 딥러닝 목적함수(예: 교차 엔트로피, MSE)를 사용하여 훈련되며, 어텐션 게이트를 통해 특징 및 샘플의 선택적 활용이 가능하다.

실험 결과

연구 질문

• RQ1 연속형 외부 메모리를 갖춘 딥러닝 모델이 소규모 타뷸라 데이터셋에서 기울기 부스팅을 능가할 수 있는가?
• RQ2 현대적인 호필드 네트워크의 통합이 타뷸라 데이터에서 특징 및 샘플 표현 학습에 어떻게 기여하는가?
• RQ3 메모리 접근을 통한 반복적 개선이 데이터가 부족한 타뷸라 데이터셋에서 더 나은 일반화 성능을 이끌어내는가?
• RQ4 메모리 증강 딥러닝 아키텍처가 중간 크기의 데이터셋에서 XGBoost 및 LightGBM와 같은 최신 기술 수준의 타뷸라 모델과 경쟁하거나 이를 초월할 수 있는가?
• RQ5 모든 레이어에서 전체 훈련 세트에 직접 접근함이 모델 정확도 및 일반화에 어떤 영향을 미치는가?

주요 결과

• 중간 크기의 타뷸라 데이터셋(예: 황, 컬리지즈, 아이)에서 Hopular는 6개 데이터셋 중 3개에서 최고 성능을 기록했으며, 중앙순위는 1.5로, XGBoost, CatBoost, LightGBM 및 NPTs를 모두 능가했다.
• 황 회귀 데이터셋에서 Hopular는 MSE 1.04±0.02를 기록했으며, XGBoost(1.23±0.00) 및 CatBoost(1.06±0.01)를 상당히 앞섰다.
• 컬리지즈 회귀 데이터셋에서 Hopular는 21.18±0.09 MSE를 기록했으며, XGBoost(30.47±0.00) 및 LightGBM(25.64±0.09)를 능가했다.
• shrutime 및 blastchar 이진 분류 작업에서 Hopular는 각각 86.12±0.09% 및 80.05±0.11%의 정확도를 기록했으며, XGBoost 및 LightGBM를 뛰어넘었다.
• NPTs보다 훨씬 적은 메모리를 요구함으로써, 전체 훈련 세트에 접근함에도 불구하고 효율적인 메모리 활용을 보였다.
• 런타임 추정치에 따르면 Hopular는 계산적으로 실현 가능하며, 소규모에서 중간 크기의 데이터셋에서 성능 향상이 계산 비용을 상회한다.