[논문 리뷰] DANets: Deep Abstract Networks for Tabular Data Classification and Regression

Jintai Chen, Kuanlun Liao외 3명|arXiv (Cornell University)|2021. 12. 06.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 표본 데이터 분류 및 회귀를 위한 새로운 신경망 아키텍처인 딥 추상 네트워크(DANets)를 제안한다. 이는 상관성이 높은 특징을 군집하고 고차원적 의미를 추상화하는 데 중심이 되는 학습 가능한 추상 레이어(AsbLay)를 포함한다. 특징 군집을 위한 학습 가능한 희박 마스크와 추론 복잡도를 줄이기 위한 구조 재패arameterization 기법을 활용함으로써, TabNet, NODE, Net-DNF와 같은 경쟁 모델들보다 FLOPS가 14.8–23.0% 낮은 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Tabular data are ubiquitous in real world applications. Although many commonly-used neural components (e.g., convolution) and extensible neural networks (e.g., ResNet) have been developed by the machine learning community, few of them were effective for tabular data and few designs were adequately tailored for tabular data structures. In this paper, we propose a novel and flexible neural component for tabular data, called Abstract Layer (AbstLay), which learns to explicitly group correlative input features and generate higher-level features for semantics abstraction. Also, we design a structure re-parameterization method to compress the learned AbstLay, thus reducing the computational complexity by a clear margin in the reference phase. A special basic block is built using AbstLays, and we construct a family of Deep Abstract Networks (DANets) for tabular data classification and regression by stacking such blocks. In DANets, a special shortcut path is introduced to fetch information from raw tabular features, assisting feature interactions across different levels. Comprehensive experiments on seven real-world tabular datasets show that our AbstLay and DANets are effective for tabular data classification and regression, and the computational complexity is superior to competitive methods. Besides, we evaluate the performance gains of DANet as it goes deep, verifying the extendibility of our method. Our code is available at https://github.com/WhatAShot/DANet.

연구 동기 및 목표

• 표본 데이터에 특화된 효과적이고 구조적인 신경망 구성 요소의 부족을 해결함으로써, 깊이 있는 학습의 잠재력을 충분히 활용하지 못하는 문제를 해결한다.
• 일반적인 구성 요소(예: 완전 연결 레이어)에 의존하는 기존 모델의 한계를 극복하며, 명시적인 특징 군집화 또는 추상화 메커니즘이 없는 문제를 해결한다.
• 데이터 기반의 특징 군집화를 통해 계층적인 특징 추상화를 학습할 수 있는 유연하고 확장 가능한 신경망 아키텍처를 설계한다.
• 모델 성능을 유지하면서도 추론 복잡도를 줄이기 위해 구조 재패arameterization 기법을 활용한다.
• 다양한 표본 데이터 세트에서 분류 및 회귀 작업에 대해 제안된 아키텍처의 효과성과 확장성을 입증한다.

제안 방법

• 상관성이 높은 입력 특징을 명시적인 거리 측정 기준 없이도 군집화할 수 있는 학습 가능한 희박 마스크를 사용하는 추상 레이어(AsbLay)를 도입한다.
• AsbLay 내부의 특징 학습기(feature learners)를 통해 군집된 특징 하위집합으로부터 고차원 표현을 추상화함으로써, 다수의 수준에서 의미 추상화를 가능하게 한다.
• 특징 선택과 추상화 작업을 하나의 전방 전파로 통합하는 구조 재패arameterization 기법을 구현하여, 단일 AsbLay 레이어에서 FLOPS를 49.02% 감소시켰다.
• 원본 표본 특징을 유지하는 특수한 잔차 연결 경로를 포함한 기본 블록을 구성함으로써, 레이어 간의 특징 상호작용을 향상시킨다.
• 다중 기본 블록을 스택하여 깊이 있는 계층적 표본 의미 추상화를 가능하게 하는 딥 추상 네트워크(DANets)를 구성한다.
• 모델을 엔드 투 엔드로 훈련시키며, 손실 함수를 미분 가능하게 하여 마스크가 목표 관련 특징과 상관성이 높은 특징을 적응적으로 식별할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 AsbLay 내 학습 가능한 마스크가 데이터 기반으로 목표 관련 특징과 관련 없는 특징을 효과적으로 구분할 수 있는가?
• RQ2 명시적인 거리 측정 기준이나 고정된 인도크티브 바이어스가 없더라도 AsbLay 구성 요소가 상관성이 높은 특징을 식별하고 군집화할 수 있는가?
• RQ3 구조 재패arameterization 기법이 모델 성능을 손상시키지 않으면서도 계산 복잡도를 상당히 줄일 수 있는가?
• RQ4 모델의 깊이와 너비는 표본 데이터에서 DANets의 성능에 어떤 영향을 미치며, 확장성의 한계는 어디에 있는가?
• RQ5 실제 표본 데이터 세트에서 TabNet, NODE, Net-DNF와 같은 경쟁 모델보다 DANets가 정확도와 추론 효율성 측면에서 모두 뛰어난 성능을 보일 수 있는가?

주요 결과

• AsbLay 내 학습 가능한 마스크는 목표 관련 특징을 성공적으로 식별한다. 예를 들어, $v_2, v_3, v_4, v_5$와 같은 관련 특징에서는 높은 활성화 값을 보이고, $v_{10}$와 같은 관련 없는 특징에서는 거의 0에 가까운 반응을 보인다.
• 마스크는 상관성이 높은 특징을 군집화할 수 있는 능력을 보이며, 유사한 마스크 값은 $(v_0, v_2)$, $(v_5, v_6)$, $(v_6, v_7)$와 같은 특징 군집을 나타내어 특징 간 관계를 포착할 수 있음을 확인한다.
• DANets는 일곱 개인 실제 표본 데이터 세트에서 최신 기술 수준의 성능을 달성하였으며, TabNet, NODE, Net-DNF와 같은 경쟁 모델보다 정확도 및 F1 스코어에서 일관되게 뛰어난 성능을 보였다.
• DANets의 계산 복잡도는 앙상블 기반 모델보다 상당히 낮다. 구조 재패arameterization 적용 후 FLOPS는 14.8–23.0% 감소하였으며, 단일 AsbLay 레이어에서 49.02% 감소하였다.
• 모델의 깊이와 너비 향상은 성능 향상에 기여하지만, 극도로 깊거나 넓은 모델은 성능 향상의 효과가 점점 줄어들어 실제 모델 스케일링의 상호 교환 관계를 보여준다.
• 기본 블록 내 특수한 잔차 경로는 특징 다양성을 향상시키며, 특히 더 깊은 아키텍처에서 성능 향상에 기여한다.