[논문 리뷰] AI Lifecycle Models Need To Be Revised. An Exploratory Study in Fintech

Mark Haakman, Luís Cruz외 2명|arXiv (Cornell University)|2020. 10. 03.

Ethics and Social Impacts of AI참고 문헌 38인용 수 16

한 줄 요약

이 연구는 글로벌 핀테크 기관인 ING에서 수행한 사례 연구를 통해 기존 AI 라이프사이클 모델에서의 핵심 격차—특히 타당성 평가, 문서화, 모델 모니터링 및 리스크 평가 분야—를 규명한다. 저자들은 알고리즘 개발을 넘어서 실제 도전 과제를 해결하기 위해 핀테크에 특화된 개선된 라이프사이클 모델을 제안하며, 거버넌스, 도구 활용, 프로세스 표준화에 중점을 둔다.

ABSTRACT

Tech-leading organizations are embracing the forthcoming artificial intelligence revolution. Intelligent systems are replacing and cooperating with traditional software components. Thus, the same development processes and standards in software engineering ought to be complied in artificial intelligence systems. This study aims to understand the processes by which artificial intelligence-based systems are developed and how state-of-the-art lifecycle models fit the current needs of the industry. We conducted an exploratory case study at ING, a global bank with a strong European base. We interviewed 17 people with different roles and from different departments within the organization. We have found that the following stages have been overlooked by previous lifecycle models: data collection, feasibility study, documentation, model monitoring, and model risk assessment. Our work shows that the real challenges of applying Machine Learning go much beyond sophisticated learning algorithms - more focus is needed on the entire lifecycle. In particular, regardless of the existing development tools for Machine Learning, we observe that they are still not meeting the particularities of this field.

연구 동기 및 목표

• 기존 AI 라이프사이클 모델이 대규모 AI 개발을 위한 핀테크 기업의 실제 요구사항과 얼마나 부합하는지 조사하기 위해.
• 엄격한 규제를 받는 금융기관 내에서 기계학습 시스템을 개발하고 유지보수하는 데 있어 특정 과제를 규명하기 위해.
• 데이터 관리, 버전 관리, 모델 거버넌스 등의 ML 라이프사이클 단계를 지원하는 데 현재의 도구와 프로세스가 얼마나 적합한지 평가하기 위해.
• 업계 전문가들의 경험적 발견을 바탕으로 CRISP-DM 및 TDSP와 같은 기존 모델을 개선하기 위해.
• ML 라이프사이클에서 간과되기 쉬우나 필수적인 단계들을 부각시켜 향후 AI 공학 분야의 연구 및 교육을 이끌기 위해.

제안 방법

• 핀테크에 강한 중점을 두고 있는 글로벌 대형 은행인 ING에서 탐색적 사례 연구를 수행하였다.
• 다양한 역할과 부서에서 온 17명의 전문가를 인터뷰하여 기계학습 개발 관행에 대한 통찰을 확보하였다.
• 인터뷰 데이터를 내부 조직 자원(문서 및 시스템 관행 포함)과 교차 분석하였다.
• 기존의 라이프사이클 모델(CRISP-DM 및 TDSP)을 분석하고 핀테크 환경에서 생략되거나 중시되지 않는 단계를 규명하였다.
• 주제 분석을 통해 프로세스, 거버넌스, 도구 활용 측면에서 반복되는 과제와 격차를 추출하였다.
• 타당성 연구, 모델 모니터링, 모델 리스크 평가와 같은 간과된 단계를 통합하여 개선된 라이프사이클 모델을 제안하였다.

실험 결과

연구 질문

• RQ1 기존 기계학습 라이프사이클 모델은 핀테크 분야의 요구사항과 얼마나 부합하는가?
• RQ2 핀테크 기업에서 기계학습 애플리케이션을 개발하는 데 있어 특정 과제는 무엇인가?
• RQ3 기존 모델에서 현재 생략되거나 지원이 부족한 ML 라이프사이클 단계는 무엇인가?
• RQ4 핀테크 기업의 조직적 및 규제적 제약 조건은 ML 개발 프로세스에 어떻게 영향을 미치는가?
• RQ5 확장 가능하고 규제 준수 가능한 ML 개발을 지원하기 위해 도구 및 거버넌스에 어떤 개선이 필요한가?

주요 결과

• CRISP-DM 및 TDSP와 같은 기존 AI 라이프사이클 모델은 타당성 연구, 문서화, 모델 모니터링, 모델 리스크 평가와 같은 핵심 단계를 생략하고 있다.
• 핀테크 환경에서 기계학습 모델의 문서화 및 거버넌스를 위한 표준화된 관행과 도구 활용이 크게 부족하다.
• 기존 기계학습 개발 도구가 존재하지만, 프로젝트 특화 요구사항과의 괴리 및 복잡성으로 인해 팀이 이를 도입하지 않는 경우가 많다.
• 모델 거버넌스 및 규제 준수는 주요 과제이며, 특히 금융 규제의 빠른 변화를 감안할 때 더욱 그렇다.
• 연구에서는 탐색적 데이터 분석, 데이터 통합, 버전 제어, 기계학습 모델 모니터링 분야에서 더 나은 도구 지원이 필요하다고 규명하였다.
• 전문가들은 기계학습 개발의 실제 과제가 알고리즘 설계를 넘어서 데이터 품질, 프로세스 성숙도, 기능 간 협업에 있음을 보고하였다.