[논문 리뷰] Deep Neural Networks and Tabular Data: A Survey

Vadim Borisov, Tobias Leemann외 4명|arXiv (Cornell University)|2021. 10. 05.

Explainable Artificial Intelligence (XAI)인용 수 29

한 줄 요약

이질적 표형 데이터에 대한 딥러닝의 포괄적 고찰로, 데이터 변환, 특화된 아키텍처, 정규화라는 분류체계를 제안하고, 생성과 설명가능성을 조사하며, 실증 벤치마크에서 그래디언트 부스팅 트리가 지도 학습 과제에서 딥모델보다 종종 우수하다는 것을 보여준다.

ABSTRACT

Heterogeneous tabular data are the most commonly used form of data and are essential for numerous critical and computationally demanding applications. On homogeneous data sets, deep neural networks have repeatedly shown excellent performance and have therefore been widely adopted. However, their adaptation to tabular data for inference or data generation tasks remains challenging. To facilitate further progress in the field, this work provides an overview of state-of-the-art deep learning methods for tabular data. We categorize these methods into three groups: data transformations, specialized architectures, and regularization models. For each of these groups, our work offers a comprehensive overview of the main approaches. Moreover, we discuss deep learning approaches for generating tabular data, and we also provide an overview over strategies for explaining deep models on tabular data. Thus, our first contribution is to address the main research streams and existing methodologies in the mentioned areas, while highlighting relevant challenges and open research questions. Our second contribution is to provide an empirical comparison of traditional machine learning methods with eleven deep learning approaches across five popular real-world tabular data sets of different sizes and with different learning objectives. Our results, which we have made publicly available as competitive benchmarks, indicate that algorithms based on gradient-boosted tree ensembles still mostly outperform deep learning models on supervised learning tasks, suggesting that the research progress on competitive deep learning models for tabular data is stagnating. To the best of our knowledge, this is the first in-depth overview of deep learning approaches for tabular data; as such, this work can serve as a valuable starting point to guide researchers and practitioners interested in deep learning with tabular data.

연구 동기 및 목표

• 표준화된 지도, 비지도, 데이터 생성, 해석 가능성 과제를 포함하여 표형 데이터에 대한 기존 문헌에 대한 철저한 검토를 제공한다.
• 이질적 표형 데이터를 위한 방법들을 정리하기 위한 통일된 분류체계(데이터 변환, 특화된 아키텍처, 정규화)를 제안한다.
• 표형 데이터에 대한 딥 모델의 생성 기법과 해석 가능성 접근법을 요약한다.
• 실제 데이터셋에서 전통 ML 방법과 딥러닝Approaches 간의 광범위한 실증 비교를 수행하고 재현을 가능케 하는 공개 벤치마크를 제공한다.

제안 방법

• 표형 데이터에 대한 딥러닝 방법의 통일된 분류체계(데이터 변환, 특화된 아키텍처, 정규화)를 도입한다.
• 범주형 및 수치형 특징에 대한 단일 및 다차원 인코딩을 포함한 데이터 변환 기법을 조사한다.
• 표형 데이터에 대한 하이브리드 모델 및 트랜스포머 기반 모델을 포함한 특화된 아키텍처를 설명한다.
• 표형 데이터에서 딥 모델의 성능을 향상시키기 위한 정규화 전략을 검토한다.
• 생성 품질의 평가를 포함한 표형 데이터 생성 접근법을 논의한다.
• 표형 데이터에 대한 딥 모델의 설명 메커니즘과 실증 벤치마킹 프레임워크를 제시한다.

실험 결과

연구 질문

• RQ1 이질적 표형 데이터에 딥러닝을 적용하기 위한 주요 연구 흐름과 방법론은 무엇인가?
• RQ2 표형 데이터에 대한 딥러닝 접근법은 실제 데이터세트에서 전통적 방법과 어떻게 비교되는가?
• RQ3 딥러닝으로의 추론, 생성, 해석 가능성에 대한 미해결 과제와 향후 방향은 무엇인가?
• RQ4 통합 분류체계가 실무자가 표형 데이터 과제에 적합한 방법을 선택하는 데 도움이 될 수 있는가?

주요 결과

• 그래디언트 부스팅 트리 앙상블이 지도 학습 표형 과제에서 여전히 대부분의 데이터셋에서 딥러닝 모델보다 우수하게 나타난다.
• 표형 데이터에 대한 딥러닝의 진전은 강력한 트리 기반 베이스라인에 비해 정체되어 보이며 방법론적 발전의 여지가 있음을 시사한다.
• 논문은 비교 결과를 재현하고 확장하기 위한 공개 벤치마크와 코드를 제공한다.
• 광범위한 고찰은 표형 데이터의 핵심 과제로 데이터 품질, 불규칙한 특징 의존성, 전처리 의존성, 특징별 민감도를 식별한다.