[논문 리뷰] DNF-Net: A Neural Architecture for Tabular Data

Ami Abutbul, Gal Elidan외 2명|arXiv (Cornell University)|2020. 06. 11.

Adversarial Robustness in Machine Learning참고 문헌 2인용 수 15

한 줄 요약

DNF-Net는 테이블 형 데이터를 위한 새로운 신경망 아키텍처로, 애핀 소프트 임계값 특징 위에서 결정을 논리합의정형식(DNF)으로 모델링하며, 특징 선택과 공간 국소화에 대한 인덕티브 편향을 통합한다. 이는 완전히 연결된 네트워크(FCN)를 일관되게 능가하고, 타블러 데이터 벤치마크에서 XGBoost와 비슷하거나 뛰어나며, SGD를 사용한 엔드 투 엔드 학습을 가능하게 한다.

ABSTRACT

A challenging open question in deep learning is how to handle tabular data. Unlike domains such as image and natural language processing, where deep architectures prevail, there is still no widely accepted neural architecture that dominates tabular data. As a step toward bridging this gap, we present DNF-Net a novel generic architecture whose inductive bias elicits models whose structure corresponds to logical Boolean formulas in disjunctive normal form (DNF) over affine soft-threshold decision terms. In addition, DNF-Net promotes localized decisions that are taken over small subsets of the features. We present an extensive empirical study showing that DNF-Nets significantly and consistently outperform FCNs over tabular data. With relatively few hyperparameters, DNF-Nets open the door to practical end-to-end handling of tabular data using neural networks. We present ablation studies, which justify the design choices of DNF-Net including the three inductive bias elements, namely, Boolean formulation, locality, and feature selection.

연구 동기 및 목표

• 테이블 형 데이터를 위한 널리 수용된 신경망 아키텍처가 부족한 문제를 해결하기 위해, 현재 기울기 부스팅 결함 트리(GBDT)에 의해 지배되는 분야에 대안을 제공하고자 한다.
• 결함 숲의 핵심 특성인 논리적 구조(DNF), 특징 선택, 국소화된 결정 수립을 모방하는 인덕티브 편향을 갖춘 신경망을 설계하고자 한다.
• 기존의 GBDT의 확장성 및 다중 모달 통합의 한계를 극복하기 위해 표준 SGD를 사용한 테이블 형 데이터에서의 엔드 투 엔드 신경망 학습을 가능하게 하고자 한다.
• 표준 완전히 연결된 네트워크 대비 DNF 구조, 특징 선택, 국소화의 조합이 성능 향상에 기여하는지 경험적으로 검증하고자 한다.

제안 방법

• 핵심 구성 요소는 DNNF 블록으로, 두 개의 은닉층을 가진 순방향 신경망으로, 애핀 소프트 임계값 리터럴을 학습하고 이를 논리합(OR)으로 조합하여 DNF 유사 논리 공식을 형성한다.
• 특징 선택은 입력 특징에 적용되는 학습 가능한 소프트 마스크를 통해 구현되며, 각 결정 항목이 관련 특징을 동적으로, 미분 가능하게 선택할 수 있도록 한다.
• 국소화는 공간적으로 제약된 어텐션 또는 라우팅 메커니즘을 통해 달성되며, 각 결정 항목이 특징의 작은 국소적 부분집합에서만 작용하도록 제한한다.
• 시그모이드 활성화 함수를 사용하여 소프트 임계값을 모델링하고, 모든 구성 요소의 공동 최적화를 위한 전방산란(backpropagation)을 전면적으로 지원한다.
• 모델는 표준 확률적 경사 하강법(SGD)을 사용하여 학습되며, 전체 가시성과 대규모 데이터셋에 대한 확장성을 보장한다.
• 각 인덕티브 편향의 기여도를 분리하기 위해 추론 실험(ablation studies)를 실시한다: DNF 구조, 특징 선택, 국소화.

실험 결과

연구 질문

• RQ1 DNF에 대한 인덕티브 편향을 갖춘 신경망 아키텍처가 테이블 형 데이터에서 완전히 연결된 네트워크를 능가할 수 있는가?
• RQ2 학습 가능한 특징 선택과 국소화된 결정 수립이 테이블 형 예측 작업의 성능 향상에 기여하는가?
• RQ3 DNF-Net이 표준 테이블 형 벤치마크에서 XGBoost와 같은 기울기 부스팅 결함 트리(GBDT)의 성능을 어느 정도 따라하거나 능가할 수 있는가?
• RQ4 DNF 구조, 특징 선택, 국소화와 같은 개별 구성 요소가 모델 성능에 독립적으로 기여하는 정도는 어떠한가?
• RQ5 DNF-Net은 고차원 및 합성 데이터를 포함한 다양한 테이블 형 데이터셋에 일반화 가능한가?

주요 결과

• DNF-Net은 다양한 실제 테이블 형 데이터셋에서 완전히 연결된 네트워크(FCN)를 일관되게 능가하며, 인덕티브 편향의 효과를 입증한다.
• 추론 실험 결과, DNF 구조, 특징 선택, 국소화의 세 가지 인덕티브 편향 모두 필수적이며, 각각 성능 향상에 크게 기여함을 확인한다.
• 합성 데이터셋에서 DNF-Net은 다양한 입력 차원에서도 높은 정확도를 유지하며, 데이터 복잡성에 대한 강건성을 보여준다.
• 이전 카글(Kaggle) 대회 두 개에서 DNF-Net은 XGBoost와 유사한 성능을 기록했으며, 일부 데이터셋에서는 약간의 성능 저하가 있었을 뿐이다.
• 특징 선택 메커니즘은 통제된 합성 실험을 통해 독립적으로 모델 성능 향상과 일반화 능력을 향상시킴을 입증하였다.
• DNF-Net은 SGD를 사용한 엔드 투 엔드 학습을 가능하게 하여, GBDT가 큰 신경망 파ipelines에 쉽게 통합되지 못하는 점을 감안할 때 확장 가능한 대안을 제공한다.