[論文レビュー] Machine Learning Software Engineering in Practice: An Industrial Case Study

Md Saidur Rahman, Emilio Rivera+3 more|arXiv (Cornell University)|Jun 17, 2019

Big Data and Business Intelligence参考文献 14被引用数 31

ひとこと要約

この産業界の事例研究では、SAPとポリテクニケ・モントリオールの協働によるアジャイルで協働的なフレームワークを活用し、スケールに応じた小売取引データの誤りを自動で検出・是正する機械学習アプローチを提示する。本研究は、機械学習のソフトウェア工学における課題を特定し、機械学習駆動のソフトウェア開発における産学連携に向けた実行可能なガイドラインを提供する。

ABSTRACT

SAP is the market leader in enterprise software offering an end-to-end suite of applications and services to enable their customers worldwide to operate their business. Especially, retail customers of SAP deal with millions of sales transactions for their day-to-day business. Transactions are created during retail sales at the point of sale (POS) terminals and then sent to some central servers for validations and other business operations. A considerable proportion of the retail transactions may have inconsistencies due to many technical and human errors. SAP provides an automated process for error detection but still requires a manual process by dedicated employees using workbench software for correction. However, manual corrections of these errors are time-consuming, labor-intensive, and may lead to further errors due to incorrect modifications. This is not only a performance overhead on the customers' business workflow but it also incurs high operational costs. Thus, automated detection and correction of transaction errors are very important regarding their potential business values and the improvement in the business workflow. In this paper, we present an industrial case study where we apply machine learning (ML) to automatically detect transaction errors and propose corrections. We identify and discuss the challenges that we faced during this collaborative research and development project, from three distinct perspectives: Software Engineering, Machine Learning, and industry-academia collaboration. We report on our experience and insights from the project with guidelines for the identified challenges. We believe that our findings and recommendations can help researchers and practitioners embarking into similar endeavors.

研究の動機と目的

• SAPのエンタープライズ小売システムにおける取引誤りの手動是正が引き起こす高い運用コストと非効率を是正すること。
• 取引検証プロセスにおける手動介入に起因する業務ワークフローの中断と誤りの拡大を低減すること。
• リアルタイムでの取引整合性の不一致を検出・是正するための自動的でスケーラブルな機械学習パイプラインの開発。
• 産学連携における機械学習ベースのソフトウェア工学における横断的課題を特定・文書化すること。
• 保守性、データプライバシー、チーム連携を重視した、機械学習をエンタープライズソフトウェア開発に統合するための実用的ガイドラインの提供。

提案手法

• 歴史的取引データを用いて教師あり機械学習を適用し、異常値や不整合を検出する。
• データインジェスト、前処理、特徴工学、モデルトレーニング、本番環境へのデプロイを含むエンドツーエンドのMLパイプラインを設計する。
• 協働環境における反復的開発と継続的統合を支援するため、アジャイル開発手法（例：SCRUM）を採用する。
• 訓練済みモデルを用いて、検出された誤りの是正案を提示する補足推奨システムを実装する。
• 企業基準に準拠したプライバシーとコンプライアンスを確保するための安全なデータ取り扱いプロトコルを確立する。
• 研究者とエンジニアの両チームが定期的にミーティングを行い、目標の一致と知識格差の埋め合わせを図る。

実験結果

リサーチクエスチョン

• RQ1 どのようにして機械学習をエンタープライズ取引処理システムに効果的に統合し、誤りの検出・是正を自動化できるか？
• RQ2 産業界と学術機関の間での協働において、機械学習ベースのソフトウェアコンponent開発に際しての主な課題は何か？
• RQ3 ソフトウェア工学の実践、機械学習ワークフロー、および組織文化の違いが開発ライフサイクルにどのように影響するか？
• RQ4 機械学習駆動の産業研究開発プロジェクトにおける連携と知識移転を改善するための技術的および組織的戦略は何か？
• RQ5 ミッションクリティカルなエンタープライズソフトウェアへの実世界での機械学習導入から得られるベストプラクティスは何か？

主な発見

• MLパイプラインにより、手動による誤り是正作業が顕著に削減され、システムスループットが向上し、運用コストが低減した。
• アジャイル手法は、産業界における反復的かつ進化するML開発の性質を管理するのに効果的であった。
• データ品質、モデルの解釈可能性、およびレガシーエンタープライズシステムとの統合が、主な課題として浮上した。
• 学術機関と産業界の間での職業的実践や組織文化の違いは、意図的な調整とコミュニケーション戦略を要した。
• データプライバシーやセキュリティ制約が、データアクセス、処理、およびモデルトレーニングワークフローに顕著な影響を与えた。
• 定期的な知識移転セッションと共同計画会議が、ドメイン理解と技術的期待のギャップを埋める上で不可欠であった。