[논문 리뷰] On the Robustness of Decision Tree Learning under Label Noise

Aritra Ghosh, Naresh Manwani외 1명|arXiv (Cornell University)|2016. 05. 20.

Machine Learning and Data Classification참고 문헌 16인용 수 9

한 줄 요약

이 논문은 대규모 표본 조건 하에서 기부, 오분류, 두잇 잡음 측도를 기반으로 하는 의사결정나무 학습 알고리즘이 대칭 레이블 잡음에 대해 강건함을 이론적으로 입증한다. 잡음이 있는 데이터로부터 학습된 최적의 분할 규칙이 잡음이 없는 데이터로부터의 것과 수렴함을 증명하며, 높은 확률로 강건성을 보장하는 표본 복잡도 한계를 제시한다. UCI 데이터셋에서의 실증적 검증을 통해 의사결정나무와 랜덤 포레스트가 40%의 잡음 조건에서도 높은 정확도를 유지함을 확인하였다.

ABSTRACT

In most practical problems of classifier learning, the training data suffers from the label noise. Hence, it is important to understand how robust is a learning algorithm to such label noise. This paper presents some theoretical analysis to show that many popular decision tree algorithms are robust to symmetric label noise under large sample size. We also present some sample complexity results which provide some bounds on the sample size for the robustness to hold with a high probability. Through extensive simulations we illustrate this robustness.

연구 동기 및 목표

• 실세계 데이터셋에서 흔한 문제인 대칭 레이블 잡음 하에서 의사결정나무 학습의 강건성에 대해 조사한다.
• 잡음 환경에서 관찰된 의사결정나무의 경험적 강건성에 대한 이론적 근거를 제공한다.
• 높은 확률로 강건성을 보장하는 표본 복잡도 한계를 유도한다.
• 개별 의사결정나무의 성질을 바탕으로 랜덤 포레스트의 강건성 분석을 확장한다.
• 증가하는 레이블 잡음 수준에서 의사결정나무와 SVM 간의 성능을 실증적으로 비교한다.

제안 방법

• 이mpurity 기반 의사결정나무 학습을 중심으로 한 이론적 분석을 수행하며, 대칭 레이블 잡음을 i.i.d.로 간주하여 확률 η에 따라 레이블이 뒤집힌다고 모델링한다.
• 대규모 표본 근사에서, Gini, 오분류, 두잇 규칙에 대해 잡음이 있는 데이터에서의 최적 분할 규칙이 잡음이 없는 데이터에서의 것과 일치함을 증명한다.
• 집중 불등식을 활용하여, 잡음 하에서 분할 규칙의 수렴을 높은 확률로 보장하는 표본 복잡도 한계를 유도한다.
• 랜덤 포레스트에 강건성 결과를 적용하기 위해, 앙상블 내 각 트리가 동일한 강건성 성질을 상속함을 보인다.
• UCI 데이터셋에서 증가하는 대칭 레이블 잡음(0%에서 40%까지) 조건 하에서 의사결정나무와 랜덤 포레스트의 성능을 실증적으로 평가한다.
• 동일한 잡음 조건 하에서 다양한 손실 함수(Hinge, Logistic, Polynomial)를 사용한 SVM과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 대규모 표본 조건 하에서 의사결정나무 학습은 대칭 레이블 잡음에 대해 여전히 강건한가?
• RQ2 높은 확률로 강건성을 보장하는 이론적 표본 복잡도 한계를 도출할 수 있는가?
• RQ3 Gini, 오분류, 두잇 등의 이mpurity 기반 분할 규칙은 대칭 레이블 잡음 하에서도 최적의 분할을 유지하는가?
• RQ4 개별 의사결정나무의 강건성은 랜덤 포레스트로 확장될 수 있는가?
• RQ5 증가하는 레이블 잡음 수준에서 의사결정나무의 성능은 SVM과 비교해 어떻게 되는가?

주요 결과

• 대규모 표본 조건 하에서 Gini, 오분류, 두잇 이mpurity 측도를 사용하는 의사결정나무는 대칭 레이블 잡음 하에서도 동일한 최적의 분할 규칙을 유지한다.
• 실증 결과에 따르면, Spam 및 Magic 등의 데이터셋에서 40%의 레이블 잡음 조건 하에서도 의사결정나무와 랜덤 포레스트는 잡음이 없는 성능과 1-2% 이내의 정확도를 유지한다.
• Spam 데이터셋에서 30%의 잡음 조건 하에서 랜덤 포레스트는 91.68%의 정확도를 기록했고, Gini 기반 트리는 84.06%, SVM은 77.45%를 기록하여 고잡음 조건에서 랜덤 포레스트가 더 뛰어난 성능을 보였다.
• German 데이터셋에서는 40%의 잡음 조건 하에서 랜덤 포레스트는 약 69%의 정확도를 유지했고, Gini 트리는 65.25%, SVM은 60.9%로 떨어졌다.
• 이론적 표본 복잡도 한계는 노드당 표본 수가 잡음 수준과 신뢰수준에 따라 유도된 임계값을 초과할 경우 강건성이 높은 확률로 유지됨을 시사한다.
• SVM은 대칭 레이블 잡음 하에서 심각한 성능 저하를 보였으며, 40%의 잡음 조건에서 여러 데이터셋에서 70% 이하의 정확도를 기록했고, 의사결정나무와는 달리 강건성이 떨어졌다.