[논문 리뷰] SUBPLEX: Towards a Better Understanding of Black Box Model Explanations at the Subpopulation Level

Jun Yuan, Gromit Yeuk-Yin Chan외 6명|arXiv (Cornell University)|2020. 07. 21.

Data Visualization and Analytics참고 문헌 86인용 수 9

한 줄 요약

SUBPLEX는 Jupyter 노트북 내부에 통합된 시각적 분석 시스템으로, 국소 모델 설명에 클러스터링과 차원 축소를 적용하여 블랙박스 기계학습 모델을 하위집단 수준에서 해석할 수 있도록 지원한다. 이는 사용자 중심의 상호작용 기반 시각화를 통해 모델 디버깅, 특성 선택, 편향 탐지 기능을 향상시켜 깊이 있는 통찰과 프로그래밍 및 시각적 분석 워크플로우 간의 밀접한 통합을 이룬다.

ABSTRACT

Understanding the interpretation of machine learning (ML) models has been of paramount importance when making decisions with societal impacts such as transport control, financial activities, and medical diagnosis. While current model interpretation methodologies focus on using locally linear functions to approximate the models or creating self-explanatory models that give explanations to each input instance, they do not focus on model interpretation at the subpopulation level, which is the understanding of model interpretations across different subset aggregations in a dataset. To address the challenges of providing explanations of an ML model across the whole dataset, we propose SUBPLEX, a visual analytics system to help users understand black-box model explanations with subpopulation visual analysis. SUBPLEX is designed through an iterative design process with machine learning researchers to address three usage scenarios of real-life machine learning tasks: model debugging, feature selection, and bias detection. The system applies novel subpopulation analysis on ML model explanations and interactive visualization to explore the explanations on a dataset with different levels of granularity. Based on the system, we conduct user evaluation to assess how understanding the interpretation at a subpopulation level influences the sense-making process of interpreting ML models from a user's perspective. Our results suggest that by providing model explanations for different groups of data, SUBPLEX encourages users to generate more ingenious ideas to enrich the interpretations. It also helps users to acquire a tight integration between programming workflow and visual analytics workflow. Last but not least, we summarize the considerations observed in applying visualization to machine learning interpretations.

연구 동기 및 목표

• 모델 설명이 개별 인스턴스 또는 글로벌 요약이 아닌 데이터 하위집단에 걸쳐 집계되는 하위집단 수준에서의 모델 해석 부족을 보완하기 위해.
• 특히 모델 디버깅, 특성 선택, 편향 탐지와 같은 실제 기계학습 워크플로우를 지원하기 위해 상호작용 기반 시각적 분석 시스템을 제공하기 위해.
• 시각적 설명 도구를 Jupyter 노트북 환경에 원활하게 통합하여 데이터 과학자들이 기존의 프로그래밍 워크플로우와 일치시키기 위해.
• 하위집단 수준의 모델 설명 분석이 사용자의 이해 및 해석 능력 향상에 어떻게 기여하는지 탐색하기 위해.
• 고수준 개요와 데이터 그룹 내 모델 행동의 세부 탐색을 모두 지원하는 인간 중심의 상호작용 기반 플랫폼을 제공하기 위해.

제안 방법

• 시스템은 국소 설명 벡터(예: LIME 또는 SHAP 가중치)를 기반으로 인스턴스를 클러스터링하고, 차원 축소(예: t-SNE 또는 UMAP)를 적용한다.
• 이러한 하위집단은 2차원 투영 공간에 시각화되어 브러시, 필터링, 드릴다운 상호작용을 통해 사용자가 클러스터를 탐색할 수 있도록 한다.
• 도구는 Jupyter 위젯으로 구현되어 기계학습 코드와 직접 통합되며, 코드와 시각화 간의 원활한 데이터 전달을 가능하게 한다.
• 사용자는 위젯 내에서 클러스터링 및 차원 축소 알고리즘과 파라미터를 직접 커스터마이징할 수 있어 재현성과 제어력을 높일 수 있다.
• 시스템은 하위집단 간 설명 패턴의 동적 탐색을 지원하여, 그룹 간 일관성 있는 또는 다름을 보이는 행동을 식별할 수 있도록 한다.
• 데이터 과학자들과의 반복적 설계 과정을 통해 인터페이스 및 상호작용 설계가 유저 사용성과 워크플로우 통합에 중점을 두고 개발되었다.

실험 결과

연구 질문

• RQ1 모델 설명의 하위집단 수준 분석이 사용자의 블랙박스 모델 이해도를 어떻게 향상시키는가?
• RQ2 Jupyter 노트북 환경에 시각적 분석을 통합함으로써 데이터 과학자들의 모델 해석 워크플로우가 얼마나 향상되는가?
• RQ3 사용자가 하위집단 인사이트를 어떻게 활용하여 편향을 탐지하거나 모델을 디버깅하거나 특성을 선택하는가?
• RQ4 다중 차원 투영된 국소 설명의 해석에서 사용자가 겪는 주요 과제는 무엇인가?
• RQ5 클러스터링된 설명의 상호작용 탐색이 국소 또는 글로벌 설명만으로는 불가능한 더 세밀하거나 혁신적인 해석으로 이어지는가?

주요 결과

• 사용자들은 하위집단 수준에서 설명을 탐색함으로써 모델 행동에 대한 더 통찰력 있고 혁신적인 이해를 도출하는 데 도움이 되었다고 보고했다.
• Jupyter 노트북 환경 내에 시각적 분석 도구가 통합되면서 프로그래밍과 시각적 분석 워크플로우 간의 통합도가 높아져 사용성과 효율성이 향상되었다.
• 데이터 과학자들은 초기에는 시각화 기법에 익숙하지 않았지만, 상호작용 기반의 시각적 설명에 강한 관심을 보였으며, 초기 사용 후에 긍정적인 피드백을 제공했다.
• 시스템을 통해 사용자는 하위집단 간 특성 중요도 패턴을 식별할 수 있었고, 이는 편향 탐지 및 특성 선택에 기여했다.
• 사용자는 시각화에서 선택한 데이터 포인트를 브러시를 통해 내보내어 네이티브 파이썬 코드로 추가 분석에 활용할 수 있다는 점을 매우 유용하게 평가했다.
• 다중 차원 투영도에서 거리와 스케일링을 해석하는 데 어려움을 겪는다는 점이 드러났으며, 이는 시각적 디자인에서 사용자 가이드라인 개선이 필요함을 시사한다.