[논문 리뷰] Trust in AutoML: Exploring Information Needs for Establishing Trust in Automated Machine Learning Systems

Jaimie Drozdal, Justin D. Weisz외 7명|arXiv (Cornell University)|2020. 01. 17.

Ethics and Social Impacts of AI참고 문헌 44인용 수 23

한 줄 요약

이 연구는 자동화된 머신러닝(AutoML) 시스템의 투명성 기능이 데이터 과학자들의 신뢰도와 이해 가능성에 어떤 영향을 미치는지 조사한다. 인터뷰, 통제 실험, 카드 정렬을 포함한 세 가지 연구를 통해, 모델 성능 지표와 시각화 기능이 AutoML 도구에서 신뢰를 구축하고 사용자 자신감 및 이해도를 높이는 데 가장 핵심적인 정보임을 발견했다.

ABSTRACT

We explore trust in a relatively new area of data science: Automated Machine Learning (AutoML). In AutoML, AI methods are used to generate and optimize machine learning models by automatically engineering features, selecting models, and optimizing hyperparameters. In this paper, we seek to understand what kinds of information influence data scientists' trust in the models produced by AutoML? We operationalize trust as a willingness to deploy a model produced using automated methods. We report results from three studies -- qualitative interviews, a controlled experiment, and a card-sorting task -- to understand the information needs of data scientists for establishing trust in AutoML systems. We find that including transparency features in an AutoML tool increased user trust and understandability in the tool; and out of all proposed features, model performance metrics and visualizations are the most important information to data scientists when establishing their trust with an AutoML tool.

연구 동기 및 목표

• 데이터 과학자들이 AutoML 시스템에 대해 신뢰를 형성하는 데 영향을 미치는 정보 유형을 이해하는 것, 특히 모델 배포 결정과 관련하여.
• 투명성과 이해 가능성의 관점에서 AutoML 도구가 사용자 신뢰에 어떤 영향을 미치는지, 특히 신뢰 형성의 정보적 관점에서 조사하는 것.
• 신뢰를 구축하기 위해 AutoML 사용자 인터페이스에서 가장 중요하고 가장 덜 중요한 정보 기능을 특정하는 것.
• 특히 고위험 분야에서 AutoML 도구 자체와 그가 생성한 모델을 신뢰하는 데의 차이를 탐색하는 것.
• 사용자 자신감과 이해도를 향상시키는 실질적인 투명성 기능을 특정하여, 믿을 수 있는 AutoML 시스템 설계에 기여하는 것.

제안 방법

• 상용 AutoML 도구에 존재하고 있는 정보 유형과 부족한 정보를 파악하기 위해 데이터 과학 수강생들을 대상으로 반구조화된 인터뷰를 실시하여, 투명성 기능의 기초를 마련했다.
• 투명성 기능을 추가한 AutoML 인터페이스와 추가하지 않은 인터페이스를 비교하는 통제 실험을 수행하여, 사용자 신뢰도와 이해 가능성 평가를 분석했다.
• 22개의 정보 기능을 중요도 순서로 정렬하도록 참가자들에게 개방형 카드 정렬 작업을 시행했다.
• 실제 의사결정 환경과 연계하여, 신뢰를 'AutoML가 생성한 모델을 배포할 의향이 있는가'로 운영 정의했다.
• 카드 정렬에서의 정량적 순위와 정성적 피드백을 활용하여, 모델 성능, 특징 공학, 하이퍼파라미터 최적화 등의 기능들이 상대적으로 얼마나 중요한지 평가했다.
• 다양한 연구 결과를 종합하여 정보 필요성의 패턴을 분석하였으며, 특히 투명성 기능이 신뢰도와 이해 가능성에 어떤 영향을 미치는지 집중적으로 분석했다.

실험 결과

연구 질문

• RQ1 새로운 투명성 기능의 포함 여부가 AutoML 시스템에 대한 사용자 신뢰도와 이해 가능성에 어느 정도의 영향을 미치는가?
• RQ2 AutoML 시스템에 대한 신뢰를 구축하는 데 있어 어떤 정보가 매우 중요하고, 어떤 정보는 덜 중요한가?
• RQ3 데이터 과학자들은 AutoML 도구 자체와 그가 생성한 모델에 대해 어떻게 다른 신뢰 인식을 가지는가?
• RQ4 대출 승인과 같은 상황과 연구 중심의 모델 개발과 같은 다양한 사용 맥락에서 신뢰를 위한 정보 필요성은 어떻게 다를까?
• RQ5 초기 신뢰 형성과 장기적 신뢰 유지 간의 차이는 무엇이며, 각 단계에서 어떤 정보가 이를 지원하는가?

주요 결과

• 투명성 기능을 AutoML 도구에 포함시킴으로써 사용자 신뢰도와 이해 가능성 모두가 유의미하게 향상되었으며, 이는 통제 실험 결과로 확인되었다.
• 모델 성능 지표와 시각화 기능은 신뢰를 구축하는 데 가장 중요한 정보 기능으로 평가되었으며, 카드 정렬 작업에서 성능 지표가 평균 순위에서 가장 높았다.
• 특징 공학 세부 정보와 모델 설명 시각화 기능도 매우 가치 있음을 인식하여, 상위 다섯 가지 기능 중에 포함되었다.
• 하이퍼파라미터 최적화 및 검색 알고리즘에 대한 정보는 평균 순위가 가장 낮아, 初기 신뢰 형성에 있어 덜 중요하다는 것을 시사했지만, 연구적 맥락에서는 여전히 관련성이 있었다.
• 참가자들은 모델의 정확도가 낮더라도 AutoML 도구 자체에는 신뢰할 수 있다고 표현했으며, 이는 시스템 자체와 그 출력물에 대한 신뢰를 구분할 수 있음을 시사한다.
• 신뢰 형성은 맥락에 따라 달라지며, 사용자가 도구와 상호작용하면서 정보 필요성이 변화함을 보여주었고, 이는 初기 신뢰와 지속적 신뢰에 서로 다른 투명성 기능이 필요할 수 있음을 시사한다.