[論文レビュー] Deep Learning in Business Analytics: A Clash of Expectations and Reality

Marc Andreas Schmitt|arXiv (Cornell University)|May 19, 2022

Big Data and Business IntelligenceBusiness, Management and Accounting被引用数 17

ひとこと要約

本稿は、ビジネスアナリティクスにおける深層学習（DL）の高い期待と現実のパフォーマンスの不一致を調査し、構造的で固定長のテーブルデータにおいてDLが従来の機械学習モデル——特に勾配ブースティング——に劣ることを示している。研究は、DLを万能なソリューションではなく補完的ツールとして捉えるべきであり、構造的データを扱う大多数のビジネスアナリティクスタスクにおいて勾配ブースティングが優れた選択肢であると結論づけている。

ABSTRACT

Our fast-paced digital economy shaped by global competition requires increased data-driven decision-making based on artificial intelligence (AI) and machine learning (ML). The benefits of deep learning (DL) are manifold, but it comes with limitations that have, so far, interfered with widespread industry adoption. This paper explains why DL, despite its popularity, has difficulties speeding up its adoption within business analytics. It is shown that the adoption of deep learning is not only affected by computational complexity, lacking big data architecture, lack of transparency (black-box), skill shortage, and leadership commitment, but also by the fact that DL does not outperform traditional ML models in the case of structured datasets with fixed-length feature vectors. Deep learning should be regarded as a powerful addition to the existing body of ML models instead of a one size fits all solution. The results strongly suggest that gradient boosting can be seen as the go-to model for predictions on structured datasets within business analytics. In addition to the empirical study based on three industry use cases, the paper offers a comprehensive discussion of those results, practical implications, and a roadmap for future research.

研究の動機と目的

• 深層学習の普及にもかかわらず、ビジネスアナリティクスにおける採用が限定的である理由を調査すること。
• 構造的ビジネスデータセット上で、深層学習モデルと従来の機械学習モデルのパフォーマンスを比較すること。
• 計算複雑性、透明性の欠如、スキル不足などの要因を含む、DLの業界における採用を妨げる主な障壁を同定すること。
• 実証的根拠に基づいた指針を提供し、ビジネスアナリティクスの文脈で深層学習と他の機械学習モデルをいつ、どのように適用すべきかを示すこと。
• 構造的データ環境における深層学習に関する今後の研究のロードマップを提示すること。

提案手法

• 構造的テーブルデータを含む3つの実世界の産業ユースケースを用いた実証的評価。
• 特に勾配ブースティング（XGBoost、LightGBM）を含む従来の機械学習モデルと、深層学習モデル（例：順伝播ニューラルネットワーク）の実装と比較。
• すべてのモデルに標準化されたデータ前処理と特徴工学を適用し、公平な比較を確保。
• 保持済みテストセットを用いた標準的な回帰および分類指標（例：RMSE、AUC-ROC）によるモデル評価。
• 実用的妥当性を評価するため、モデルの解釈可能性、トレーニング時間、リソース要件の分析。
• 組織的・技術的障壁についての定性的な議論：ビジネス環境におけるDLの採用に向けた課題を検討。

実験結果

リサーチクエスチョン

• RQ1 固定長の特徴ベクトルを有する構造的ビジネスデータセットにおいて、深層学習が従来の機械学習モデルを上回るか？
• RQ2 ビジネスアナリティクスにおける深層学習の採用を制限する主な技術的および組織的障壁は何か？
• RQ3 モデルの解釈可能性、計算コスト、データインfra構築が、業界における深層学習の実用的導入にどのように影響するか？
• RQ4 どのような状況で勾配ブースティングがビジネスアナリティクスタスクにおいて予測性能で深層学習を上回るか？
• RQ5 これらの発見が、データドリブン意思決定におけるモデル選定と組織戦略に与えるインパクトは何か？

主な発見

• 構造的テーブルデータを含む3つの産業ユースケースにおいて、深層学習モデルはいかなるケースでも勾配ブースティングモデルを上回らなかった。
• 勾配ブースティングは、RMSEやAUC-ROCを含むすべての評価指標で一貫して優れた予測パフォーマンスを示した。
• 深層学習モデルは勾配ブースティングと比較して、著しく多くの計算リソースとトレーニング時間を要した。
• 性能が同等であっても、深層学習モデルの解釈不能さと「ブラックボックス」性が、ビジネスの意思決定者にとって大きな懸念事項であった。
• スキル不足、リーダーシップの抵抗、不十分なデータインfra構築といった組織的障壁が、DLの採用を妨げる主要因であると特定された。
• 本研究は、深層学習を万能なソリューションではなく、勾配ブースティングなどの既存モデルと併用して最適に活用すべき特殊なツールとみなすべきだと結論づけている。