[論文レビュー] A Framework for Democratizing AI

Shakkeel Ahmed, Ravi Mula+1 more|arXiv (Cornell University)|Jan 1, 2020

Explainable Artificial Intelligence (XAI)参考文献 22被引用数 6

ひとこと要約

この論文では、機械学習モデルにおけるポータビリティ、説明可能性、信頼性、公平性、分散化を実現するため、AIの民主化を目的としたオープンソースのPythonフレームワークであるmlsquareを紹介する。このフレームワークは、scikit-learnモデルをONNX互換の深層ニューラルネットワークに変換するための統合インターフェースを提供し、説明可能性、不確実性の定量化、ニューラルアーキテクチャサーチへの拡張を可能としており、透明性とコミュニティ主導の開発を促進する。

ABSTRACT

Machine Learning and Artificial Intelligence are considered an integral part of the Fourth Industrial Revolution. Their impact, and far-reaching consequences, while acknowledged, are yet to be comprehended. These technologies are very specialized, and few organizations and select highly trained professionals have the wherewithal, in terms of money, manpower, and might, to chart the future. However, concentration of power can lead to marginalization, causing severe inequalities. Regulatory agencies and governments across the globe are creating national policies, and laws around these technologies to protect the rights of the digital citizens, as well as to empower them. Even private, not-for-profit organizations are also contributing to democratizing the technologies by making them \emph{accessible} and \emph{affordable}. However, accessibility and affordability are all but a few of the facets of democratizing the field. Others include, but not limited to, \emph{portability}, \emph{explainability}, \emph{credibility}, \emph{fairness}, among others. As one can imagine, democratizing AI is a multi-faceted problem, and it requires advancements in science, technology and policy. At exttt{mlsquare}, we are developing scientific tools in this space. Specifically, we introduce an opinionated, extensible, exttt{Python} framework that provides a single point of interface to a variety of solutions in each of the categories mentioned above. We present the design details, APIs of the framework, reference implementations, road map for development, and guidelines for contributions.

研究の動機と目的

• AIの専門知識とリソースの集中化に対処するため、AI技術の民主化を実現する統合的かつ拡張可能なフレームワークを構築すること。
• フレームワークやハードウェアプラットフォームを問わずモデルのポータビリティを支援することで、AIツールの広範なアクセス性を実現すること。
• 説明可能性、信頼性（不確実性の定量化）、公平性、分散化といった重要なAIの特性を、1つの開発インターフェースに統合すること。
• オープンベンチマーク、パブリックなパフォーマンスリーダーボード、バージョン管理されたアルゴリズム貢献の仕組みを通じて、透明性とコミュニティ貢献を促進すること。

提案手法

• フレームワークは、.save()、.explain()、.nas()、.ci() などのメソッドを備えた統合Python APIを提供し、モデル変換、説明、ニューラルアーキテクチャサーチ、不確実性推定の標準化を実現する。
• Kerasを用いてscikit-learnモデルを深層ニューラルネットワークにトランスパイルし、クロスプラットフォームでのデプロイと相互運用性を実現するためONNX形式にエクスポートする。
• 説明可能性はLIME、SHAP、およびDeRTなどのカスタム手法を統合することでサポートされ、モデルに依存しない解釈のための. explain() メソッドの計画が進行中である。
• 信頼性は、不確実性の定量化を最初から組み込む方法として導入することで向上し、ベイジアン推論とカバレッジインターバルのサポートを計画している。
• ニューラルアーキテクチャサーチ（NAS）はAutoKerasとTuneを用いて実装されており、最小限のユーザー介入で自動的なモデル発見が可能である。
• フレームワークはコミュニティ主導の開発モデルを採用しており、パブリックリーダーボードとオープンな貢献パイプラインを活用して、透明性と品質管理を確保する。

実験結果

リサーチクエスチョン

• RQ1 1つのフレームワークが、モデルのポータビリティ、説明可能性、不確実性の定量化といった多様なAI機能を統合的かつ標準化してアクセス可能にする方法は何か？
• RQ2 scikit-learnモデルを、予測性能を保持したまま深層ニューラルネットワークに忠実にトランスパイルし、ONNXエクスポートを可能にすることができるか？
• RQ3 コミュニティ貢献とオープンベンチマークは、AIモデル開発の信頼性と透明性をどの程度向上させることができるか？
• RQ4 分散型トレーニングとインフェレンスを、ハイレベルなPythonフレームワークに統合することで、プライバシーと公平性をどのように向上させられるか？
• RQ5 標準化され拡張可能なAPIは、AI開発における非エキスパートユーザーの参入障壁をどの程度低減できるか？

主な発見

• mlsquareフレームワークは、線形回帰、リッジ回帰、ラッソ、エラスティックネット、SVM、決定木といった複数のscikit-learnモデルを、ONNX互換の深層ニューラルネットワークに成功してトランスパイルした。
• .save()メソッドは現在10以上のscikit-learnモデルで実装済みであり、XGBoost、IRT、Surprise、DeepCTRへの対応拡張が進行中である。
• .explain()メソッドは、独自の説明手法であるDeRTのサポート拡張が進行中であり、InterpretとSHAPの統合も計画されている。
• ニューラルアーキテクチャサーチ（NAS）はAutoKerasとTuneを介してネイティブにサポートされており、.nas()メソッドはすでにモデル発見に利用可能である。
• 不確実性の定量化は、.ci()を介して最初から組み込む方法として形式化されており、カバレッジインターバルと信頼性推定の初期実装が進行中である。
• フレームワークはパブリックなパフォーマンスリーダーボードとオープンな貢献パイプラインを確立しており、透明性のあるコミュニティ主導のモデル評価と改善を可能にした。