[논문 리뷰] Deep Learning in Business Analytics: A Clash of Expectations and Reality

Marc Andreas Schmitt|arXiv (Cornell University)|2022. 05. 19.

Big Data and Business IntelligenceBusiness, Management and Accounting인용 수 17

한 줄 요약

이 논문은 비즈니스 분석에서 딥러닝(DL)의 높은 기대와 실제 성능 간의 괴리를 조사하며, 구조적이고 고정 길이의 표본 데이터에 대해 딥러닝이 전통적인 머신러닝 모델—특히 그라디언트 부스팅 모델—보다 성능이 열 劣하다는 것을 입증한다. 이 연구는 딥러닝이 보편적인 해결책이 아니라 보조 도구로 간주되어야 하며, 구조적 데이터를 다루는 대부분의 비즈니스 분석 과제에서 그라디언트 부스팅이 열 劣한 선택임을 시사한다.

ABSTRACT

Our fast-paced digital economy shaped by global competition requires increased data-driven decision-making based on artificial intelligence (AI) and machine learning (ML). The benefits of deep learning (DL) are manifold, but it comes with limitations that have, so far, interfered with widespread industry adoption. This paper explains why DL, despite its popularity, has difficulties speeding up its adoption within business analytics. It is shown that the adoption of deep learning is not only affected by computational complexity, lacking big data architecture, lack of transparency (black-box), skill shortage, and leadership commitment, but also by the fact that DL does not outperform traditional ML models in the case of structured datasets with fixed-length feature vectors. Deep learning should be regarded as a powerful addition to the existing body of ML models instead of a one size fits all solution. The results strongly suggest that gradient boosting can be seen as the go-to model for predictions on structured datasets within business analytics. In addition to the empirical study based on three industry use cases, the paper offers a comprehensive discussion of those results, practical implications, and a roadmap for future research.

연구 동기 및 목표

• 딥러닝의 인기가 높음에도 불구하고 비즈니스 분석 분야에서의 도입이 제한된 이유를 조사하기 위해.
• 구조적 비즈니스 데이터셋에서 딥러닝 모델과 전통적인 머신러닝 모델 간의 성능을 비교하기 위해.
• 계산 복잡도, 투명성 부족, 전문 역량 부족 등과 같은 주요 기술적·조직적 장벽이 딥러닝 도입을 제한하는 방식을 특정하기 위해.
• 비즈니스 분석 환경에서 딥러닝과 다른 머신러닝 모델을 언제, 어떻게 적용할 것인지에 대한 근거 기반 지침을 제공하기 위해.
• 구조적 데이터 환경에서의 딥러닝 연구를 위한 향후 연구 로드맵을 제안하기 위해.

제안 방법

• 구조적 표본 데이터셋을 포함한 세 가지 실제 산업 현장 응용 사례를 활용한 실증적 평가.
• 딥러닝 모델(예: 피드포워드 신경망)과 전통적인 머신러닝 모델, 특히 그라디언트 부스팅(XGBoost, LightGBM) 간의 구현 및 비교.
• 모든 모델 간 공정한 비교를 보장하기 위해 표준화된 데이터 전처리 및 특징 공학 기법을 적용.
• 보류된 테스트 세트에서 표준 회귀 및 분류 평가 지표(RMSE, AUC-ROC 등)를 사용한 모델 평가.
• 실용적 타당성을 평가하기 위해 모델 해석 가능성, 학습 시간, 자원 요구량 분석.
• 산업 환경에서의 딥러닝 도입을 저해하는 조직적·기술적 장벽에 대한 정성적 논의.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 고정 길이 특징 벡터를 가진 구조적 비즈니스 데이터셋에서 전통적인 머신러닝 모델보다 성능이 뛰어나나?
• RQ2 딥러닝 도입을 제한하는 주요 기술적 및 조직적 장벽은 무엇인가?
• RQ3 모델 해석 가능성, 계산 비용, 데이터 인프라와 같은 요소들이 산업 현장에서의 딥러닝 실용적 구현에 어떤 영향을 미치는가?
• RQ4 어떤 상황에서 그라디언트 부스팅이 비즈니스 분석 과제에서 예측 성능 면에서 딥러닝을 뛰어넘는가?
• RQ5 이러한 발견들이 데이터 기반 의사결정에서의 모델 선택 및 조직 전략에 어떤 함의를 갖는가?

주요 결과

• 딥러닝 모델은 구조적 표본 데이터를 포함한 세 가지 산업 현장 응용 사례에서 어느 하나의 사례에서도 그라디언트 부스팅 모델을 앞서지 못했다.
• 그라디언트 부스팅은 RMSE 및 AUC-ROC를 포함한 모든 평가 지표에서 일관되게 뛰어난 예측 성능를 기록했다.
• 딥러닝 모델은 그라디언트 부스팅 대비 상당히 더 많은 계산 자원과 학습 시간을 요구했다.
• 딥러닝 모델의 해석 불가능성과 '블랙박스' 성격은 성능가 같을지라도 기업 스테이크홀더들에게 주요 우려 사항이었다.
• 전문 인력 부족, 리더십의 저항, 부족한 데이터 인프라 등 조직적 장벽이 딥러닝 도입의 주요 저해 요인으로 확인되었다.
• 이 연구는 딥러닝을 보편적인 해결책으로 보아서는 안 되며, 오히려 기존의 모델(예: 그라디언트 부스팅)과 함께 사용하는 데서 가장 효과적인 전문 도구로 간주되어야 한다고 결론 내린다.