[논문 리뷰] Visual Analytics and Human Involvement in Machine Learning

Salomon Eisler, Joachim Meyer|arXiv (Cornell University)|2020. 05. 12.

Data Visualization and Analytics인용 수 5

한 줄 요약

이 논문은 기계 학습 생명주기 전반에 시각적 분석을 통합하기 위한 종합적인 프레임워크를 제안하며, 각 단계에서 인간의 참여를 강조한다. 데이터 수집, 준비, 모델 선택, 학습, 평가, 해석, 하이퍼파rameter 튜닝의 일곱 가지 기계 학습 단계를 제시하고, 각 단계에 적합한 시각화 기법을 매핑하여, 시각적 분석이 모델 이해도 향상, 디버깅, 이해관계자 간 소통 강화에 어떻게 기여하는지 보여주며, 특히 인공지능 시스템의 '블랙박스 문제' 해결에 기여한다.

ABSTRACT

The rapidly developing AI systems and applications still require human involvement in practically all parts of the analytics process. Human decisions are largely based on visualizations, providing data scientists details of data properties and the results of analytical procedures. Different visualizations are used in the different steps of the Machine Learning (ML) process. The decision which visualization to use depends on factors, such as the data domain, the data model and the step in the ML process. In this chapter, we describe the seven steps in the ML process and review different visualization techniques that are relevant for the different steps for different types of data, models and purposes.

연구 동기 및 목표

• 증가하는 자동화와 인공지능의 복잡성에도 불구하고 기계 학습에서 인간의 참여 문제를 지속적으로 해결하기 위해.
• 기계 학습 파이프라인의 일곱 핵심 단계에 적용 가능한 시각화 기법을 식별하고 체계화하기 위해.
• 특히 '블랙박스' 모델의 투명성 부족 문제에 대비하여, 시각적 분석을 활용해 모델의 해석 가능성과 이해관계자 신뢰를 향상시키기 위해.
• 데이터, 모델 행동, 성능 지표의 효과적인 시각적 표현을 통해 데이터 과학자와 도메인 전문가가 정보 기반 의사결정을 내릴 수 있도록 지원하기 위해.
• 시각화 방법을 특정 기계 학습 작업과 데이터 유형에 맞게 조율하여 기술적 성능와 인간의 이해 간 격차를 해소하기 위해.

제안 방법

• 데이터 수집, 준비, 모델 선택, 학습, 평가, 해석, 하이퍼파rameter 튜닝의 일곱 가지 핵심 기계 학습 단계를 관련 시각화 기법과 매핑하기.
• 데이터 유형(예: 표형, 고차원, 시계열), 모델 유형(지도학습, 비지도학습, 딥러닝, 앙상블), 목적(탐색, 디버깅, 해석)에 따라 시각적 분석 도구를 분류하기.
• 성능 모니터링 및 하이퍼파rameter 튜닝을 위해 산점도, 히트맵, SPLOM(산점도 매트릭스), 선도표, ROC 곡선 등의 표준 시각화 방법 활용하기.
• TensorFlow, PyTorch, Jupyter 등의 기계 학습 프레임워크에 드래그 앤 드롭, 줌, 필터링 등의 상호작용 가능한 시각 인터페이스 통합하여 실시간 모델 점검 지원하기.
• 변환 과정을 추적하고 모델 입력 및 출력에 대한 신뢰를 구축하기 위해 데이터 라인저지 시각화 도입 제안하기.
• 하이퍼파rameter 튜닝에 시각적 분석 적용을 위해 손실, 정밀도, 재현율 등의 KPI를 튜닝 반복 과정에서 저장하고, 히트맵과 선도표를 활용한 대시보드를 통해 시각화하기.

실험 결과

연구 질문

• RQ1 기계 학습 파이프라인의 각 단계에서 인간의 의사결정을 지원하기 위해 가장 효과적인 시각화 기법은 무엇인가?
• RQ2 시각적 분석은 기계 학습 시스템에서 모델의 해석 가능성과 이해관계자 신뢰를 어떻게 향상시킬 수 있는가?
• RQ3 훈련 및 평가 과정에서 이상치, 클래스 불균형, 과적합을 탐지하는 데에 시각화는 어떤 역할을 하는가?
• RQ4 기계 학습 프레임워크 내 상호작용 가능한 시각 인터페이스는 디버깅 및 하이퍼파rameter 튜닝 과정을 어떻게 향상시킬 수 있는가?
• RQ5 시각화 기법은 예측 정확도와 모델 설명 가능성 간의 상충 관계를 어떻게 해결하는가?

주요 결과

• 시각적 분석은 데이터 준비, 모델 학습, 해석 단계에서 특히 필수적이며, 이는 이상치, 클래스 불균형, 모델 행동 탐지에 기여한다.
• 학습 곡선, 훈련 대 검증 손실도표, ROC 곡선과 같은 시각화 기법은 모델 수렴 여부 모니터링 및 과적합 탐지에 핵심적이다.
• SPLOM, 히트맵, 선도표와 같은 상호작용 가능한 시각 도구는 하이퍼파ram터와 주요 성능 지표 간의 관계를 시각화하여 효과적인 하이퍼파라미터 튜닝을 가능하게 한다.
• TensorFlow 및 PyTorch와 같은 프레임워크는 점점 더 상호작용 가능한 시각화를 지원하여 데이터 과학자가 실시간으로 모델을 디버깅하고 최적화할 수 있도록 한다.
• 비전문가 이해관계자에게 모델 행동과 데이터 라인저지를 투명하게 드러내어, 특히 고위험 의사결정 상황에서 모델의 해석 가능성은 크게 향상된다.
• 기계 학습 워크플로우에 시각적 분석을 통합함으로써, 모델 결정과 데이터 변환에 대한 추적 가능하고 해석 가능하며 설득력 있는 통찰을 제공함으로써 '블랙박스 문제'를 해결한다.