[논문 리뷰] A Framework for Democratizing AI

Shakkeel Ahmed, Ravi Mula외 1명|arXiv (Cornell University)|2020. 01. 01.

Explainable Artificial Intelligence (XAI)참고 문헌 22인용 수 6

한 줄 요약

이 논문은 머신러닝 모델 전반에 걸쳐 이식성, 설명 가능성, 신뢰성, 공정성, 탈중앙화를 가능하게 하여 AI를 민주화하기 위해 설계된 오픈소스 파이썬 프레임워크 mlsquare를 소개한다. 이 프레임워크는 scikit-learn 모델을 ONNX 호환 딥 뉴럴 네트워크로 변환할 수 있는 통합 인터페이스를 제공하며, 설명 가능성, 불확실성 정량화, 신경망 아키텍처 탐색 기능을 확장 가능하게 지원하여 투명성과 커뮤니티 기반 개발을 촉진한다.

ABSTRACT

Machine Learning and Artificial Intelligence are considered an integral part of the Fourth Industrial Revolution. Their impact, and far-reaching consequences, while acknowledged, are yet to be comprehended. These technologies are very specialized, and few organizations and select highly trained professionals have the wherewithal, in terms of money, manpower, and might, to chart the future. However, concentration of power can lead to marginalization, causing severe inequalities. Regulatory agencies and governments across the globe are creating national policies, and laws around these technologies to protect the rights of the digital citizens, as well as to empower them. Even private, not-for-profit organizations are also contributing to democratizing the technologies by making them \emph{accessible} and \emph{affordable}. However, accessibility and affordability are all but a few of the facets of democratizing the field. Others include, but not limited to, \emph{portability}, \emph{explainability}, \emph{credibility}, \emph{fairness}, among others. As one can imagine, democratizing AI is a multi-faceted problem, and it requires advancements in science, technology and policy. At exttt{mlsquare}, we are developing scientific tools in this space. Specifically, we introduce an opinionated, extensible, exttt{Python} framework that provides a single point of interface to a variety of solutions in each of the categories mentioned above. We present the design details, APIs of the framework, reference implementations, road map for development, and guidelines for contributions.

연구 동기 및 목표

• AI 전문 지식과 자원의 집중화 문제를 해결하기 위해 AI 기술의 민주화를 위한 통합적이고 확장 가능한 프레임워크를 구축하는 것.
• 다양한 프레임워크와 하드웨어 플랫폼 간의 모델 이식성을 지원하여 AI 도구의 광범위한 접근성을 보장하는 것.
• 설명 가능성, 신뢰성(불확실성 정량화), 공정성, 탈중앙화와 같은 핵심 AI 특성을 단일 개발 인터페이스에 통합하는 것.
• 공개 벤치마크, 성능 랭킹 보드, 버전 관리된 알고리즘 기여를 통해 투명성과 커뮤니티 기여를 촉진하는 것.

제안 방법

• 프레임워크는 .save(), .explain(), .nas(), .ci() 등의 메서드를 포함한 통합 파이썬 API를 제공하여 모델 변환, 설명, 신경망 아키텍처 탐색, 불확실성 추정을 표준화한다.
• Keras를 사용해 scikit-learn 모델을 딥 뉴럴 네트워크로 변환한 후, 크로스플랫폼 배포 및 상호운용성을 위해 ONNX 형식으로 내보낸다.
• 설명 가능성은 LIME, SHAP 및 DeRT와 같은 고유 방법과의 통합을 통해 지원되며, 모델에 종속되지 않는 해석을 위한 .explain() 메서드 계획이 진행 중이다.
• 신뢰성은 불확실성 정량화를 일등급 메서드로 도입함으로써 향상되며, 베이지안 추론과 커버리지 간격 지원 계획이 있다.
• 신경망 아키텍처 탐색(NAS)은 AutoKeras와 Tune을 통해 구현되어 사용자 간섭 최소화로 자동 모델 탐색을 가능하게 한다.
• 프레임워크는 커뮤니티 기반 개발 모델을 사용하며, 공개 랭킹 보드와 개방된 기여 파이프라인을 통해 투명성과 품질 관리를 보장한다.

실험 결과

연구 질문

• RQ1 모델 이식성, 설명 가능성, 불확실성 정량화와 같은 다양한 AI 기능을 통합하고 표준화할 수 있는 단일 프레임워크는 어떻게 설계할 수 있는가?
• RQ2 예측 성능를 유지하면서 scikit-learn 모델을 딥 뉴럴 네트워크로 충실하게 변환하고 ONNX 내보내기를 가능하게 할 수 있는가?
• RQ3 커뮤니티 기여와 공개 벤치마크는 AI 모델 개발의 신뢰성과 투명성을 어느 정도 향상시킬 수 있는가?
• RQ4 탈중앙화된 훈련 및 추론을 고수준 파이썬 프레임워크에 어떻게 통합할 수 있는가? 이는 개인정보 보호와 공정성 향상에 기여하는가?
• RQ5 표준화되고 확장 가능한 API는 비전문가 사용자가 AI 개발에 진입하는 데 있어 장벽을 어떻게 줄일 수 있는가?

주요 결과

• mlsquare 프레임워크는 선형 회귀, 릿지, 라소, 엘라스틱넷, SVM, 결정 트리 등 다양한 scikit-learn 모델을 ONNX 호환 딥 뉴럴 네트워크로 성공적으로 변환하였다.
• .save() 메서드는 현재 10개 이상의 scikit-learn 모델에 구현되어 있으며, XGBoost, IRT, Surprise, DeepCTR 등에 대한 지원 확장 작업이 진행 중이다.
• .explain() 메서드는 DeRT라는 고유한 설명 가능성 기법을 지원하도록 확장 중이며, Interpret 및 SHAP 통합 계획이 진행 중이다.
• 신경망 아키텍처 탐색(NAS)은 AutoKeras와 Tune을 통해 네이티브로 지원되며, .nas() 메서드를 통해 이미 모델 탐색이 가능하다.
• 불확실성 정량화는 .ci() 메서드를 통해 일등급 메서드로 정의되고 있으며, 초기 구현이 진행 중이며 커버리지 간격과 신뢰도 추정을 지원할 예정이다.
• 프레임워크는 공개 성능 랭킹 보드와 개방된 기여 파이프라인을 구축하여 모델의 투명하고 커뮤니티 기반의 평가 및 향상이 가능하도록 하였다.