[논문 리뷰] SuperTML: Two-Dimensional Word Embedding for the Precognition on Structured Tabular Data

Baohua Sun, Lin Yang외 5명|arXiv (Cornell University)|2019. 02. 26.

Digital Media Forensic Detection참고 문헌 33인용 수 9

한 줄 요약

SuperTML는 문자 및 숫자 자릿수 임베딩을 사용하여 표 형태 데이터를 이미지 유사 표현으로 변환하는 새로운 이차원 단어 임베딩 방법을 제안한다. 이는 수치 전처리나 결측치 처리 없이 사전에 훈련된 2D CNN(예: ResNet, SE-Net)을 미세조정하여 표 형태 분류 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Tabular data is the most commonly used form of data in industry. Gradient Boosting Trees, Support Vector Machine, Random Forest, and Logistic Regression are typically used for classification tasks on tabular data. DNN models using categorical embeddings are also applied in this task, but all attempts thus far have used one-dimensional embeddings. The recent work of Super Characters method using two-dimensional word embeddings achieved the state of art result in text classification tasks, showcasing the promise of this new approach. In this paper, we propose the SuperTML method, which borrows the idea of Super Characters method and two-dimensional embeddings to address the problem of classification on tabular data. For each input of tabular data, the features are first projected into two-dimensional embeddings like an image, and then this image is fed into fine-tuned two-dimensional CNN models for classification. Experimental results have shown that the proposed SuperTML method had achieved state-of-the-art results on both large and small datasets.

연구 동기 및 목표

• 기존에 XGBoost와 같은 트리 기반 모델에 의존해 온 구조적 표 형태 데이터에 딥러닝을 적용하는 데 도전한다.
• 일차원 임베딩(예: word2vec, fastText)이 표 형태 특징의 구조적이고 시각적인 패턴을 포착하는 데 한계를 가진다는 점을 극복한다.
• 특징을 이미지 유사 표현으로 변환함으로써 사전에 훈련된 2D CNN을 사용해 표 형태 데이터를 엔드 투 엔드로 분류할 수 있도록 한다.
• 범주형 및 결측치에 대한 수작업 전처리(예: 원핫 인코딩 또는 수치 보간)가 필요 없도록 한다.
• 초기화된 슈퍼 문자 방법에서 영감을 얻은 이차원 임베딩의 잠재력을 탐색하여, 특징 값을 시각적 형태로 간주함으로써 표 형태 데이터 학습에 응용한다.

제안 방법

• 각 표 형태 샘플을 특정 공간 위치에 특징 값을 텍스트 또는 숫자 시퀀스로 배치함으로써 2D 이미지로 변환한다(예: 범주형은 상단 왼쪽, 수치형은 상단 오른쪽).
• 범주형 특징을 전체 단어(예: 'blue') 또는 약어(예: 'b')로 표현하여 이미지 격자 내에서 픽셀 값으로 직접 기록한다.
• 수치형 특징을 숫자 문자열(예: '55', '17')로 인코딩하고, 지정된 이미지 영역에 배치하여 그 시각적 형태를 유지한다.
• 결측치는 정해진 위치에 'missing'이라는 단어를 텍스트로 기록함으로써 처리한다.
• 생성된 이미지 표현에 대해 사전에 훈련된 2D CNN 모델(예: ResNet, SE-Net, PolyNet)을 미세조정하여 엔드 투 엔드 분류를 수행한다.
• 훈련 중에 이미지 파일을 클래스 레이블에 매핑하기 위해 이미지 이름 규칙(예: 'Sunny_0001.jpg')을 사용한다.

실험 결과

연구 질문

• RQ1 이차원 단어 임베딩이 전통적인 일차원 임베딩보다 표 형태 데이터 분류에 효과적으로 작용할 수 있는가?
• RQ2 이미지 분류에서의 지식 전이 능력이 이미지 유사 특징 표현을 통해 사전에 훈련된 2D CNN이 표 형태 데이터 분류에 얼마나 효과적으로 적용될 수 있는가?
• RQ3 SuperTML 방법은 명시적인 전처리나 임베딩 레이어 없이 어떻게 범주형 특징과 결측치를 처리하는가?
• RQ4 숫자 자릿수의 시각적 유사성(예: 6.01 vs. 5.999)이 모델 일반화에 악영향을 미치는가? 이러한 모호한 케이스에서 모델 성능은 어떠한가?
• RQ5 SuperTML 프레임워크는 다양한 벤치마크 환경에서 소규모 및 대규모 표 형태 데이터셋 모두에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• SuperTML는 대규모 Kaggle 경쟁 대회와 UCI 표 형태 데이터셋 상위 3개에서 모두 최신 기술 수준의 성능을 달성하여 기존의 XGBoost나 일차원 임베딩 방법을 능가했다.
• 모델은 수치 변환, 원핫 인코딩, 또는 결측치 보간이 필요 없이 모든 특징을 시각적 텍스트 패턴으로 간주하여 표 형태 데이터를 분류했다.
• 오류 분석 결과, 모델의 분류 성능은 소수점 숫자 자릿수의 시각적 형태에 민감한 것으로 나타났다. 예를 들어, '6.0'과 '5.999'는 수치적으로 유사하지만 시각적으로 유사하여 잘못 분류될 수 있었다.
• Iris 데이터셋에서, 값이 (6.0, 2.2, 5.0, 1.5)인 버지니카 샘플이 시각적 형태가 유사한 훈련 데이터셋의 베르시콜로 샘플과 겹쳐져 베르시콜로로 잘못 분류되었다.
• 모델이 수치 값보다는 시각적 외형에 의존함으로써 숫자 자형의 암묵적 패턴을 학습할 수 있었지만, 이는 수치적으로 가까운 값이 시각적으로 다를 경우 도전 과제를 야기한다.
• 이 방법은 도메인 특화 CNN 가속기와 결합하여 저전력 엣지 장치에 배포할 잠재력을 보이며, 높은 정확도와 낮은 추론 비용을 동시에 확보한다.