[논문 리뷰] A Survey of Visual Analytics Techniques for Machine Learning

Jun Yuan, Changjian Chen외 4명|ArXiv.org|2020. 08. 21.

Data Visualization and Analytics참고 문헌 281인용 수 13

한 줄 요약

이 논문은 기계 학습을 위한 시각적 분석 기법에 대한 종합적인 서베이를 제시하며, 259개의 연구를 모델 구축 이전, 동안, 이후의 세 단계로 정리한다. 구조적 분류 체계를 도입하고, 데이터 품질 향상, 모델 진단, 개념 드프트 분석과 같은 핵심 과제를 강조하며, 기계 학습 파이프라인 내에서 설명 가능성, 신뢰성, 사용자 친화성 향상을 위한 여섯 가지 향후 연구 방향을 규명한다.

ABSTRACT

Visual analytics for machine learning has recently evolved as one of the most exciting areas in the field of visualization. To better identify which research topics are promising and to learn how to apply relevant techniques in visual analytics, we systematically review 259 papers published in the last ten years together with representative works before 2010. We build a taxonomy, which includes three first-level categories: techniques before model building, techniques during model building, and techniques after model building. Each category is further characterized by representative analysis tasks, and each task is exemplified by a set of recent influential works. We also discuss and highlight research challenges and promising potential future research opportunities useful for visual analytics researchers.

연구 동기 및 목표

• 기계 학습 파이프라인 全주기 동안 기계 학습을 위한 시각적 분석 기법에 대한 체계적이고 종합적인 서베이를 제공하기 위해.
• 최근 10년간 기계 학습을 위한 시각적 분석 분야에서의 주요 연구 추세와 대표적 연구를 식별하고 분류하기 위해.
• 모델 설명 가능성, 데이터 품질, 시스템 사용자 친화성 향상에 있어 미처 다루지 않은 연구 방향과 열린 과제를 부각하기 위해.
• 연구자와 실무자가 시각화가 기계 학습 워크플로우에서 신뢰성, 안정성, 해석 가능성 향상에 어떻게 기여할 수 있는지 이해하는 데 기여하기 위해.
• 모델 수명 주기 기반의 분류 체계를 수립하여, 사전, 모델링 중, 사후 단계를 포함한 전 단계에서 작업 중심의 예시를 제공하기 위해.

제안 방법

• 2010년에서 2020년 사이에 주요 시각화 학회(예: InfoVis, VAST, IEEE TVCG, SciVis)에서 발표된 259편의 논문을 체계적 수작업 서베이로 분석하였다.
• 시각적 분석 기법을 세 단계로 분류: 모델 구축 이전(데이터 및 특징 품질), 모델 구축 중(모델 진단 및 조정), 모델 구축 이후(모델 및 데이터 이해).
• 각 단계 내에서 대표적인 분석 과제를 추출하였으며, 예를 들어 데이터 품질 평가, 특징 선택, 모델 해석, 개념 드프트 탐지 등이 포함된다.
• 각 과제를 대표하는 영향력 있는 연구 사례를 선정하여, 상호작용적이고 설명 가능한 시각화 기법을 강조하였다.
• 기존 서베이 및 온톨로지의 통찰을 통합하여 분류 체계를 정교화하고, 다중모달 학습 및 온라인 개념 드프트와 같은 신규 추세를 포함하도록 보완하였다.
• 현재 문헌에서 반복적으로 나타나는 과제와 격차를 종합하여 여섯 가지 주요 향후 연구 방향을 규명하였다.

실험 결과

연구 질문

• RQ1 기계 학습 모델 훈련 이전에 시각적 분석 기법은 데이터 품질과 특징 품질을 어떻게 향상시킬 수 있는가?
• RQ2 훈련 중 기계 학습 모델의 실시간 진단, 해석, 상호작용적 개선을 지원하는 시각화 전략은 무엇인가?
• RQ3 배포 후 모델 행동과 데이터 관계를 이해하는 데 시각적 분석은 어떻게 기여할 수 있는가? 특히 다중모달 데이터와 같은 복잡한 시나리오에서.
• RQ4 스트리밍 기반 기계 학습 응용에서 개념 드프트를 탐지하고 분석하는 데 있어 핵심 과제는 무엇이며, 인간이 참여하는 진단 과정을 어떻게 지원할 수 있는가?
• RQ5 기계 학습과 시각적 분석을 통합하여 설명 가능성과 신뢰성을 향상시키기 위한 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 주요 시각화 학회에서 발표된 259편의 관련 논문을 식별하여, 기계 학습에서의 시각적 분석 이해를 위한 종합적인 기반을 마련하였다.
• 모델 구축 이전, 동안, 이후의 세 단계로 구성된 분류 체계는 기계 학습 수명 주기 전반에 걸친 시각적 분석 기법을 효과적으로 정리한다.
• 모델 이전 단계의 핵심 과제로는 데이터 품질 평가, 누락 데이터 처리, 특징 선택 등이 있으며, 시각화를 통해 직관적인 데이터 점검과 레이블 수정이 가능하다.
• 모델 구축 중에는 상호작용적 시각 인터페이스를 통해 복잡한 모델(예: 딥 네트워크)의 진단, 하이퍼파라미터 튜닝, 해석이 가능하다.
• 모델 구축 후 분석에는 모델 예측 이해, 데이터 드프트 탐지, 다중모달 데이터 관계 해석 등이 포함되며, 시각화를 통해 시간에 따른 데이터 분포 비교 분석이 가능하다.
• 여섯 가지 주요 향후 연구 방향이 규명되었으며, 약한 지도 학습에서의 데이터 품질 향상, 온라인 모델 진단 지원, 지능적인 모델 개선 지원, 다중모달 데이터 이해 향상, 인간이 참여하는 개념 드프트 분석 지원, 통합된 다중모달 표현을 위한 시각화 개발이 포함된다.