[論文レビュー] LightAutoML: AutoML Solution for a Large Financial Services Ecosystem

Anton Vakhrushev, Oleksandr S. Ryzhkov+4 more|arXiv (Cornell University)|Sep 3, 2021

Machine Learning and Data Classification参考文献 35被引用数 6

ひとこと要約

LightAutoMLは、大規模なヨーロッパの金融サービスエコシステムを想定したドメイン特化型AutoMLフレームワークであり、速度、スケーラビリティ、複雑で非定常なデータワークフローのサポートを最適化している。勾配ブースティングツリーと線形モデルに限定し、高度な前処理と動的ハイパーパramータチューニングを実装することで、汎用AutoMLツールを上回り、人間のデータサイエンティストと同等またはそれを上回るモデル品質を実現しながら、トレーニング時間を最大10倍短縮し、開発コストを数百万ユーロ削減した。

ABSTRACT

We present an AutoML system called LightAutoML developed for a large European financial services company and its ecosystem satisfying the set of idiosyncratic requirements that this ecosystem has for AutoML solutions. Our framework was piloted and deployed in numerous applications and performed at the level of the experienced data scientists while building high-quality ML models significantly faster than these data scientists. We also compare the performance of our system with various general-purpose open source AutoML solutions and show that it performs better for most of the ecosystem and OpenML problems. We also present the lessons that we learned while developing the AutoML system and moving it into production.

研究の動機と目的

• 多様なデータソース、非定常プロセス、大量のモデルデプロイを伴う大規模で複雑な金融サービスエコシステムに特有の要件を満たす。
• 生産環境においてトレーニング時間と運用コストを大幅に削減しながらも、高いパフォーマンスを維持するAutoMLシステムを開発する。
• 金融アプリケーションに特化した、軽量で高速かつスケーラブルなAutoMLパイプラインを構築する。具体的には、タイムリーでない検証（out-of-time validation）や行動モデリングを含む。
• 実世界の金融データセットおよびOpenMLベンチマークにおいて、汎用AutoMLフレームワークおよび人間のデータサイエンティストを上回る性能を実証する。
• 24時間365日運用される生産環境で、数千もの機械学習モデルを自動的かつ継続的に生成可能にし、人的には達成できない能力を実現する。

提案手法

• パフォーマンスに影響を与えないままトレーニングを高速化し、複雑さを低減するため、モデル空間を勾配ブースティングツリー（GBMs）と線形モデルに限定する。
• 問題のサイズやデータ規模に応じて最適化品質と速度のバランスを取る動的ハイパーパramータチューニング戦略を実装する。
• メタ統計とデータ型ヒューリスティクスを用いて自動的に特徴量変換を選択する、革新的なルールベースの前処理パイプラインを導入する。
• 自動的なデータ型付与とスキーマ推論を実装し、何百ものエンタープライズシステムから得られる異種でドキュメントが不完全なデータを処理する。
• 複数の生産プラットフォームおよびCI/CDパイプラインに統合し、モデルトレーニング、検証、デプロイのエンドツーエンド自動化を可能にする。
• 金融リスクおよび顧客行動分析に不可欠な、特殊な検証モード（例：out-of-time検証、逐次的行動モデリング）をサポートする。

実験結果

リサーチクエスチョン

• RQ1 複雑で非定常なデータを扱う実世界の金融アプリケーションにおいて、ドメイン特化型AutoMLシステムは、汎用AutoMLソリューションを上回ることができるか？
• RQ2 GBMsと線形モデルの2つのモデルタイプに限定された軽量なAutoMLフレームワークは、人間がチューニングしたモデルと同等またはそれ以上の性能を達成できるか、その程度はどの程度か？
• RQ3 多様な金融ユースケースにおいて、LightAutoMLは人間のデータサイエンティストと比較して、モデル品質と開発スピードの両面で優れているか？
• RQ4 大規模で多様な金融エコシステムにおいて、AutoMLシステムをスケールして導入するにあたり、主な技術的および組織的課題は何か？
• RQ5 スケールした自動モデル生成（数千ものモデル）は、人的には達成できないビジネス価値と能力をもたらすことができるか？

主な発見

• LightAutoMLは、H2O、AutoGluon、Google Cloud AutoMLといった主要な汎用AutoMLツールを、独自の金融アプリケーションおよびOpenMLベンチマークにおいても上回り、特にAUC-ROCおよびLogLoss指標で優れた性能を示した。
• CI/CDパイプラインに統合した場合、従来の人間によるデータサイエンティストワークフローと比較して、モデルトレーニング時間を4倍から10倍短縮した。また、市場投入までの時間改善は最大70％に達した。
• 導入済みモデルの60〜70％において、LightAutoMLは人間のデータサイエンティストを上回る性能を達成した。特に、データ準備および前処理タスクで顕著な向上が見られた。
• フレームワークは、24時間365日運用される生産環境で、数千もの機械学習モデルを自動的かつ継続的に生成可能であった。これは人的プロセスでは達成できない能力であった。
• 生産性の大幅な向上にもかかわらず、時間の経過とともにデータサイエンティストの数は増加を続けた。これは、AutoMLが人間の専門知識を置き換えるものではなく、ML応用の範囲を拡大したことを示している。
• 数千の特徴量と数百万レコードを含む大規模かつ異種のデータを処理する際も、多様な金融ユースケースにわたり高いパフォーマンスを維持し、堅牢性を示した。