[논문 리뷰] Democratisation of Usable Machine Learning in Computer Vision

Raymond Bond, Ansgar Koene외 8명|arXiv (Cornell University)|2019. 02. 18.

Teaching and Learning Programming참고 문헌 16인용 수 5

한 줄 요약

이 논문은 컴퓨터 비전 분야에서 사용 가능한 기계학습의 책임감 있는 민주화를 위해 비전문가 사용자를 대상으로 핵심 데이터 과학 리터러시 개념을 식별함으로써 프레임워크를 제안한다. 이를 통해 윤리적인 배포를 보장하기 위해 오해의 소지가 있는 편향, 과적합, 데이터 泄露, 성능 지표 등의 핵심 기계학습 리터러시 원칙을 포함한 SWOT 분석과 정제된 핵심 ML 리터러시 원칙을 도입한다. 이는 기계학습 도구가 비전문가에게 점점 더 접근 가능해짐에 따라 윤리적인 사용을 보장한다.

ABSTRACT

Many industries are now investing heavily in data science and automation to replace manual tasks and/or to help with decision making, especially in the realm of leveraging computer vision to automate many monitoring, inspection, and surveillance tasks. This has resulted in the emergence of the 'data scientist' who is conversant in statistical thinking, machine learning (ML), computer vision, and computer programming. However, as ML becomes more accessible to the general public and more aspects of ML become automated, applications leveraging computer vision are increasingly being created by non-experts with less opportunity for regulatory oversight. This points to the overall need for more educated responsibility for these lay-users of usable ML tools in order to mitigate potentially unethical ramifications. In this paper, we undertake a SWOT analysis to study the strengths, weaknesses, opportunities, and threats of building usable ML tools for mass adoption for important areas leveraging ML such as computer vision. The paper proposes a set of data science literacy criteria for educating and supporting lay-users in the responsible development and deployment of ML applications.

연구 동기 및 목표

• 사용자 이해도가 부족한 비전문가가 접근 가능한 기계학습 도구를 사용함에 따라 발생하는 윤리적 위험을 해결하기 위해.
• 비전문가 사용자가 기계학습 응용 프로그램을 책임감 있게 배포하기 위해 필요한 핵심 데이터 과학 리터러시 개념을 식별하기 위해.
• 사용 가능한 기계학습 플랫폼과 보완되는 체계적인 교육 프레임워크를 제안하기 위해.
• 민주화된 기계학습의 이점과 사용자 책임 및 정보 기반 의사결정의 필요성을 균형 있게 조화시키기 위해.
• 핵심 기계학습 개념에 대한 기본 리터러시를 통해 윤리적이고 투명하며 신뢰할 수 있는 기계학습 시스템의 개발을 지원하기 위해.

제안 방법

• 컴퓨터 비전 분야에서 사용 가능한 기계학습의 민주화를 평가하기 위해 강점, 약점, 기회, 위협을 분석하는 SWOT 분석을 수행한다.
• 편향, 과적합, 클래스 불균형, 개념 이동, 데이터 泄露, 혼동 변수, 성능 지표 등을 포함한 비전문가 사용자에게 필수적인 핵심 데이터 과학 리터러시 개념을 식별하고 분류한다.
• 모델 개발 중에 이러한 개념을 실시간으로 설명할 수 있도록 기계학습 플랫폼에 즉각적인 교육 기능을 통합하는 것을 제안한다.
• 코딩과 기술 용어 의존도를 줄이기 위해 직관적이고 웹 기반의 인터페이스를 갖춘 기계학습 플랫폼이 필요하다는 점을 강조한다.
• 사용자 이해와 운영의 용이성 사이의 차이를 구분하기 위해 '사용 가능한 기계학습 스펙트럼' 개념을 도입한다.
• 리터러시 기반 설계 원칙을 통해 윤리적 인식과 비판적 사고를 기계학습 도구 설계에 통합할 것을 주장한다.

실험 결과

연구 질문

• RQ1 비전문가 사용자가 컴퓨터 비전 분야에서 기계학습 모델을 책임감 있게 배포하기 위해 이해해야 할 핵심 데이터 과학 리터러시 개념은 무엇인가?
• RQ2 사용 가능한 기계학습 플랫폼은 전문가 수준의 기계학습 지식 없이도 윤리적 의사결정을 지원할 수 있도록 어떻게 설계될 수 있는가?
• RQ3 감시 및 헬스케어와 같은 고위험 분야에서 자동화된 기계학습 도구에 대한 광범위하고 규제되지 않은 접근이 초래하는 주요 위험 요소는 무엇인가?
• RQ4 기계학습 리터러시는 기계학습 플랫폼의 사용자 경험에 어떻게 효과적으로 통합될 수 있으며, 이를 통해 오용을 방지할 수 있는가?
• RQ5 데이터 泄露, 과적합, 정확도 역설 등의 개념이 비전문가 사용자에게서 모델 신뢰성에 악영향을 미치는 방식은 무엇인가?

주요 결과

• 컴퓨터 비전 분야에서 기계학습의 민주화는 핵심 기계학습 개념에 대한 이해 부족으로 인해 윤리적이거나 정확하지 않은 배포 위험이 증가한다.
• 비전문가 사용자는 정확도 역설로 인해 모델 성능을 잘못 해석할 수 있으며, 이는 높은 정확도가 진정으로 예측 능력을 반영하지 않을 수 있음을 의미한다.
• 데이터 泄露와 혼동 변수는 테스트에서는 정확해 보이지만 실제 운영 환경에서는 허구적 상관관계로 인해 실패하는 모델을 초래할 수 있다.
• 개념 이동과 클래스 불균형은 모델 일반화에 중대한 영향을 미치며, 사용자가 이를 이해하지 못하면 생산 환경에서 과도하거나 부족한 성능을 보일 수 있다.
• 과적합은 여전히 주요 위험 요소이며, 모델이 훈련 데이터에선 잘 작동하지만 새로운 데이터에선 실패하는 경우가 발생한다. 특히 사용자가 모델 검증 절차에 대한 인식이 부족할 경우 더욱 심각하다.
• 기계학습 플랫폼에 즉각적인 교육 기능을 통합하면 사용자 인식 향상과 책임감 있는 모델 배포에 크게 기여할 수 있다.