[논문 리뷰] When are Deep Networks really better than Decision Forests at small sample sizes, and how?

Haoyin Xu, Kaleab A. Kinfu외 10명|arXiv (Cornell University)|2021. 08. 31.

Machine Learning and Data Classification참고 문헌 51인용 수 12

한 줄 요약

이 논문은 표본 수가 적은 경우 딥 네ural 네트워크(DNNs)가 의사결정 숲(DFs)을 능가하는 조건을 조사한다. 두 모델을 모두 특성 공간을 볼록 다각형으로 나누고 활성화된 노드에서 투표를 통해 분류하는 '분할 및 투표' 방식으로 프레임워크화한다. 이 연구는 표본 수가 10,000개 이하인 표본 수가 적은 상황에서, 특히 저표본 환경에서 DNNs보다 DFs가 일관되게 우수한 성능을 보이며, 이는 제한된 데이터에 대한 강건성과 간단한 인덕티브 바이어스 덕분이며, 데이터가 증가함에 따라 DNNs만 성능을 높이는 것으로 나타났다. 이는 하이브리드 모델이 추가적인 성능 향상을 이끌 수 있음을 시사한다.

ABSTRACT

Deep networks and decision forests (such as random forests and gradient boosted trees) are the leading machine learning methods for structured and tabular data, respectively. Many papers have empirically compared large numbers of classifiers on one or two different domains (e.g., on 100 different tabular data settings). However, a careful conceptual and empirical comparison of these two strategies using the most contemporary best practices has yet to be performed. Conceptually, we illustrate that both can be profitably viewed as "partition and vote" schemes. Specifically, the representation space that they both learn is a partitioning of feature space into a union of convex polytopes. For inference, each decides on the basis of votes from the activated nodes. This formulation allows for a unified basic understanding of the relationship between these methods. Empirically, we compare these two strategies on hundreds of tabular data settings, as well as several vision and auditory settings. Our focus is on datasets with at most 10,000 samples, which represent a large fraction of scientific and biomedical datasets. In general, we found forests to excel at tabular and structured data (vision and audition) with small sample sizes, whereas deep nets performed better on structured data with larger sample sizes. This suggests that further gains in both scenarios may be realized via further combining aspects of forests and networks. We will continue revising this technical report in the coming months with updated results.

연구 동기 및 목표

• 생체의학 및 과학 데이터셋에서 흔히 발생하는 표본 수가 제한된 경우(≤10,000개)에 딥 네트워크가 의사결정 숲보다 언제 더 나은 성능을 내는지 규명하는 것.
• 딥 네트워크와 의사결정 숲을 모두 특성 공간을 볼록 다각형으로 나누고 활성화된 영역에서 투표를 통해 분류하는 '분할 및 투표' 방식으로 통합하여 개념적 이해를 통일하는 것.
• 표본 수가 다양하게 변하는 표본, 시각, 청각 데이터에 대해 두 방법을 실증적으로 비교 평가하여, 특히 소표본 성능에 초점을 맞추는 것.
• 각 방법이 어떤 조건에서 뛰어나게 되는지, 특히 특성 위치와 데이터 양의 역할을 규명하고, 향후 하이브리드 모델 설계에 기여하는 것.
• 두 모델의 통찰을 통합하는 기반을 마련하여, 생물학적 학습 메커니즘에 대한 기계학습 및 신경과학 연구에 기여하는 것.

제안 방법

• 논문은 딥 네트워크와 의사결정 숲을 모두 '분할 및 투표' 모델로 개념화한다: 입력 특성 공간을 볼록 다각형의 합집합으로 나누고, 활성화된 노드 또는 영역에서의 투표를 통해 분류한다.
• 보편 수렴성에 관한 스톤의 정리를 이론적 기초로 사용하여, 데이터가 증가함에 따라 분할이 세밀해질수록 두 방법 모두 미세한 조건 하에서 최적의 분류로 수렴함을 보여준다.
• 실증적 평가는 세 가지 데이터 모odal리티에서 수행된다: 표본(예: 생물의학 데이터), 시각(이미지), 청각(스펙트로그램), 표본 수는 클래스당 10에서 10,000개까지 다양하다.
• 시각 및 청각 데이터의 경우 원본 특성과 스펙트로그램을 사용하여 학습하고, ResNet-18은 입력 요구사항을 충족시키기 위해 채널을 복제하여 청각 데이터에 적용한다.
• 모델 간 일관성을 확보하기 위해 하이퍼파ram터를 동일하게 유지하고, 성능 평가는 검증용 테스트 세트(전체 데이터의 10%)에서 분류 정확도로 측정한다.
• 표준화된 하드웨어(6코어 CPU, 1코어 GPU)에서 벤치마크를 수행하여 복제 가능성과 모델 간 비교의 공정성을 확보한다.

실험 결과

연구 질문

• RQ1 표본 수가 적은 경우에 딥 네트워크가 의사결정 숲을 능가하는 데 필요한 데이터 및 모델 조건는 무엇인가?
• RQ2 특성 공간을 분할하고 투표하는 메커니즘으로 볼 때, 딥 네트워크와 의사결정 숲의 내부 표현은 어떻게 비교되는가?
• RQ3 왜 의사결정 숲은 표본, 시각, 청각 작업 전반에서 저표본 환경에서 일관되게 딥 네트워크를 능가하는가?
• RQ4 공간적 또는 위치 정보를 포함하는 특성의 유무가 두 방법 간 성능 격차에 어느 정도 影향을 미치는가?
• RQ5 두 모델이 모두 '분할 및 투표' 시스템으로서의 개념적 유사성을 어떻게 활용하여 더 강건한 하이브리드 기계학습 아키텍처를 설계할 수 있는가?

주요 결과

• 표본 수가 적은 경우(≤10,000개)에 의사결정 숲이 표본, 시각, 청각 데이터에서 딥 네트워크를 능가한다. 특히 클래스당 최소 10개의 표본이 있는 3클래스 및 8클래스 청각 분류 작업에서 뚜렷한 우위를 보였다.
• 8클래스 청각 분류 작업에서는 랜덤 숲이 모든 표본 수에서 가장 높은 정확도를 기록했고, ResNet-18-Audio는 높은 복잡도와 부족한 데이터로 인해 과적합된 탓에 가장 낮은 성능을 보였다.
• 3클래스 작업에서는 단층 및 5층 컨볼루션 네트워크(CNN)가 랜덤 숲과 유사한 성능을 보였지만, 더 복잡한 8클래스 설정에서는 여전히 숲이 앞서는 성능을 보였다.
• 클래스 수가 증가할수록 딥 네트워크와 의사결정 숲 간 성능 격차가 커졌고, 표본 수가 증가함에 따라 격차는 감소하여, 숲이 저표본 환경에서 더 강건함을 입증했다.
• 스펙트로그램과 MFCC를 사용한 결과도 원본 이미지와 유사하게 나타났으며, 특히 소표본 설정에서 의사결정 숲이 항상 딥 네트워크를 능가했다.
• 두 모델을 모두 '분할 및 투표' 시스템으로 통합한 개념적 통합은 모델의 행동 이해와 잠재적 통합을 위한 공동 프레임워크를 제공한다.