[논문 리뷰] Exploiting Categorical Structure Using Tree-Based Methods

Brian Lucena|arXiv (Cornell University)|2020. 04. 15.

Data Mining Algorithms and Applications참고 문헌 15인용 수 4

한 줄 요약

이 논문은 구조적 순서가 있는 범주형 변수(예: 지리적 인접성 또는 시간 순환)의 특성을 활용하기 위해 의미 있는 조합의 '지형(terrain)'을 정의하는 Structured Categorical Decision Trees (SCDT)를 제안한다. 기울기 부스팅에 이러한 구조를 통합함으로써, 가능한 분할의 일부분만 탐색하더라도 one-hot 인코딩과 순서형 인코딩을 크게 능가하는 성능을 보이며, 철저한 탐색 없이도 예측 성능 향상을 이끌어내는 구조적 범주형 모델링의 효과를 입증한다.

ABSTRACT

Standard methods of using categorical variables as predictors either endow them with an ordinal structure or assume they have no structure at all. However, categorical variables often possess structure that is more complicated than a linear ordering can capture. We develop a mathematical framework for representing the structure of categorical variables and show how to generalize decision trees to make use of this structure. This approach is applicable to methods such as Gradient Boosted Trees which use a decision tree as the underlying learner. We show results on weather data to demonstrate the improvement yielded by this approach.

연구 동기 및 목표

• 표준 방법이 범주형 변수를 순서가 없거나 선형적으로 순서가 있는 것으로만 간주함으로써 현실 세계의 복잡한 구조를 포착하지 못하는 한계를 해결하기 위해.
• 순서형 또는 순서 없는 가정을 초월하여 범주형 변수의 구조를 표현할 수 있는 수학적 프레임워크를 개발하기 위해.
• 학습 과정에서 이러한 구조를 활용할 수 있는 의사결정트리 변종을 설계하기 위해, 특히 기울기 부스팅 프레임워크에서의 적용을 고려하여.
• 실제 데이터에서 비트리비얼한 변수 구조를 가진 경우에 구조적 범주형 모델링이 예측 정확도를 향상시킬 수 있음을 경험적으로 검증하기 위해.
• 전체 분할 공간에 대한 완전한 탐색을 피하면서도 높은 성능을 달성할 수 있는지 보여주기 위해, 분할 공간에 대한 탐색을 최소화한 방법의 유용성을 입증하기 위해.

제안 방법

• 지리적 인접성 또는 관련된 월과 같은 의미 있는 조합을 나타내는, 범주형 변수 수준의 부분집합 집합으로서 '지형(terrain)'을 정의한다.
• 지형을 기반으로 의사결정트리의 분할을 유도하여, 분할이 범주형 변수의 기본 구조를 존중하도록 한다.
• 구조적 의사결정트리를 기울기 부스팅 프레임워크에 통합하여, 구조적 범주형 특징을 포함한 엔드 투 엔드 학습을 가능하게 한다.
• 노드당 후보 분할 수를 제한함(예: max-splits-to-search)으로써 복잡도를 제어하고 과적합을 방지한다.
• 지형 기반의 유사도를 활용해 구조적으로 유사한 범주 간 정보를 집계함으로써 일반화 성능을 향상시킨다.
• 미국 주와 월과 같은 구조적 예측변수를 가진 기상 데이터에 대해 이 방법을 구현하고 평가하며, one-hot 인코딩 및 순서형 인코딩과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 지리적 인접성 또는 원형 시간과 같은 비순서적 구조를 가진 범주형 변수를 효과적으로 모델링하여 예측 성능 향상을 이룰 수 있는가?
• RQ2 선형 순서를 초월하여 복잡한 범주형 구조를 표현하고 활용할 수 있는 수학적 프레임워크를 어떻게 구성할 수 있는가?
• RQ3 의사결정트리에서 구조적 분할을 사용할 경우, 기울기 부스팅에서 표준 one-hot 또는 순서형 인코딩 대비 더 나은 일반화 성능를 달성할 수 있는가?
• RQ4 전체 분할 공간에 대한 완전한 탐색 없이도 작은 후보 분할 부분집합만으로도 높은 성능을 달성할 수 있는가?
• RQ5 제안된 방법이 이미지 분류와 같이 의미적으로 유사한 클래스를 가진 다른 구조적 문제에 일반화될 수 있는가?

주요 결과

• 구조적 범주형 예측변수를 가진 기상 예측 작업에서 Structured Categorical Decision Tree (SCDT)는 one-hot 인코딩 및 순서형 인코딩 모두를 뛰어넘는 성능을 보였다.
• 작은 데이터셋에서는 SCDT와 기준 방법 간의 성능 격차가 가장 크게 나타나, 데이터가 제한된 상황에서 구조적 집계가 상당한 성능 향상을 가져옴을 시사한다.
• SCDT는 전체 가능한 분할의 아주 작은 비율만 탐색함으로써 뛰어난 성능를 달성한다 — 예를 들어 9개 수준의 카운티 변수에 대해 36개 중 5개의 분할만 탐색함 — 이는 효율성과 강건성을 입증한다.
• 노드당 후보 분할 수를 늘릴수록 작은 데이터셋에서는 성능이 악화되었는데, 이는 과적합의 영향일 가능성이 크며, 제한된 탐색이 정규화 역할을 한다는 것을 시사한다.
• 스hrinkage와 같은 고급 정규화 기법 없이도 이 방법이 효과를 유지함을 통해, 구조적 제약 조건에서 유도되는 내재된 인도크티브 바이어스의 효과를 확인한다.
• 범주형 변수의 구조에는 순서형 또는 순서 없는 인코딩이 포착하지 못하는 유의미한 신호가 존재하며, 이 신호는 트리 기반 모델에서 효과적으로 활용될 수 있음을 결과가 확인한다.