[論文レビュー] AI Lifecycle Models Need To Be Revised. An Exploratory Study in Fintech

Mark Haakman, Luís Cruz+2 more|arXiv (Cornell University)|Oct 3, 2020

Ethics and Social Impacts of AI参考文献 38被引用数 16

ひとこと要約

本研究では、世界的なフィンテック機関であるINGにおける事例研究を通じて、既存のAIライフサイクルモデルにおける、実現可能性評価、文書化、モデル監視、リスク評価の分野における重要なギャップを特定した。著者らは、フィンテック向けにカスタマイズされた改訂版ライフサイクルモデルを提唱し、アルゴリズム開発をはるかに超える現実世界の課題に対処するため、ガバナンス、ツールキット、プロセスの標準化を強調している。

ABSTRACT

Tech-leading organizations are embracing the forthcoming artificial intelligence revolution. Intelligent systems are replacing and cooperating with traditional software components. Thus, the same development processes and standards in software engineering ought to be complied in artificial intelligence systems. This study aims to understand the processes by which artificial intelligence-based systems are developed and how state-of-the-art lifecycle models fit the current needs of the industry. We conducted an exploratory case study at ING, a global bank with a strong European base. We interviewed 17 people with different roles and from different departments within the organization. We have found that the following stages have been overlooked by previous lifecycle models: data collection, feasibility study, documentation, model monitoring, and model risk assessment. Our work shows that the real challenges of applying Machine Learning go much beyond sophisticated learning algorithms - more focus is needed on the entire lifecycle. In particular, regardless of the existing development tools for Machine Learning, we observe that they are still not meeting the particularities of this field.

研究の動機と目的

• 既存のAIライフサイクルモデルが、大規模なAI開発におけるフィンテック機関の実際のニーズとどの程度整合しているかを調査すること。
• 規制が厳しい金融機関において機械学習システムの開発・維持管理における具体的な課題を特定すること。
• データ管理、バージョニング、モデルガバナンスなどのMLライフサイクル段階を支援する現行のツールおよびプロセスの適切さを評価すること。
• 業界の実務家から得た実証的知見に基づき、CRISP-DM や TDSP などの既存モデルの改善を提案すること。
• MLライフサイクルにおける軽視されがちなが不可欠な段階を強調することで、将来的な研究および教育におけるAI工学の方向性を示すこと。

提案手法

• フィンテックに強い世界的大手銀行であるINGにおける探索的事例研究を実施した。
• 多様な役割と部門に属する17名のプロフェッショナルを対象に、ML開発実務に関するインテリビューウェアを実施した。
• インタビューのデータを、組織内文書やシステム実務などの内部リソースと照合し、三角測定を実施した。
• 既存のライフサイクルモデル（CRISP-DM および TDSP）を分析し、フィンテック文脈において欠落している、あるいは軽視されている段階を同定した。
• テーマ的分析を用いて、プロセス、ガバナンス、ツールキットの観点から、繰り返し現れる課題とギャップを抽出した。
• 実現可能性調査、モデル監視、モデルリスク評価といった見過ごされがちな段階を統合することで、改訂版ライフサイクルモデルを提唱した。

実験結果

リサーチクエスチョン

• RQ1 既存の機械学習ライフサイクルモデルは、フィンテック分野のニーズにどの程度適合しているか？
• RQ2 フィンテック機関における機械学習アプリケーション開発における具体的な課題は何か？
• RQ3 既存のモデルで見過ごされたり、支援が不十分なMLライフサイクルの段階は何か？
• RQ4 フィンテックにおける組織的・規制的制約は、ML開発プロセスにどのように影響を与えるか？
• RQ5 スケーラブルかつコンプライアンスに適合したML開発を支援するためには、ツールおよびガバナンスでどのような改善が必要か？

主な発見

• CRISP-DM や TDSP といった既存のAIライフサイクルモデルは、実現可能性調査、文書化、モデル監視、モデルリスク評価といった重要な段階を欠如させている。
• フィンテック環境において、MLモデルの文書化およびガバナンスを標準化した実務やツールが著しく不足している。
• 利用可能なML開発ツールが存在しても、プロジェクト固有のニーズに合わず、複雑さのため、チームがそれらを採用しないケースが多い。
• モデルガバナンスおよび規制準拠は、特に金融規制の変化が著しい中で大きな課題となっている。
• 探索的データ分析、データ統合、バージョン管理、MLモデルの監視において、より良いツール支援の必要性が同定された。
• 実務家らは、ML開発における真の課題がアルゴリズム設計をはるかに超えており、データ品質、プロセス成熟度、横断的連携の重要性を強調している。