[논문 리뷰] DendroMap: Visual Exploration of Large-Scale Image Datasets for Machine Learning with Treemaps

Donald Bertucci, Md Montaser Hamid외 5명|arXiv (Cornell University)|2022. 05. 14.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

DendroMap는 기계 학습을 위한 대규모 이미지 데이터셋을 탐색하는 데 사용하는 계층적 트리맵을 활용하는 혁신적인 상호작용 시각화 시스템이다. 고차원 이미지 임베딩을 군집화하고 동적이고 줌 가능한 트리맵 인터페이스로 구성함으로써, DendroMap는 사용자가 데이터셋의 구조를 효율적으로 탐색하고, 성능이 열등한 하위군을 식별하며, 분류 오류를 분석할 수 있도록 한다. 이는 국소 유사성 구조를 더 잘 유지하고, 제어된 연구에서 사용자 선호도를 보여, t-SNE-Grid를 능가한다.

ABSTRACT

In this paper, we present DendroMap, a novel approach to interactively exploring large-scale image datasets for machine learning (ML). ML practitioners often explore image datasets by generating a grid of images or projecting high-dimensional representations of images into 2-D using dimensionality reduction techniques (e.g., t-SNE). However, neither approach effectively scales to large datasets because images are ineffectively organized and interactions are insufficiently supported. To address these challenges, we develop DendroMap by adapting Treemaps, a well-known visualization technique. DendroMap effectively organizes images by extracting hierarchical cluster structures from high-dimensional representations of images. It enables users to make sense of the overall distributions of datasets and interactively zoom into specific areas of interests at multiple levels of abstraction. Our case studies with widely-used image datasets for deep learning demonstrate that users can discover insights about datasets and trained models by examining the diversity of images, identifying underperforming subgroups, and analyzing classification errors. We conducted a user study that evaluates the effectiveness of DendroMap in grouping and searching tasks by comparing it with a gridified version of t-SNE and found that participants preferred DendroMap. DendroMap is available at https://div-lab.github.io/dendromap/.

연구 동기 및 목표

• 대규모 데이터셋에 적용할 때 기존의 이미지 데이터셋 시각화 방법(예: t-SNE 및 격자 레이아웃)의 확장성과 상호작용성에 한계가 있음을 해결한다.
• 기계 학습 전문가가 데이터 편향을 탐지하고, 모델 오류를 분석하며, 대규모로 이미지 다양성을 평가할 수 있도록 데이터 중심 AI 관행을 지원한다.
• 국소 유사성 구조를 유지하면서도 계층적 군집화를 통해 다수의 수준 탐색이 가능한 확장성 있는 상호작용 시각화를 제공한다.
• 사용자가 클러스터의 세분화 수준을 동적으로 조절하고 하위군에 대한 의미적 줌 인을 허용함으로써 사용자 중심의 이미지 데이터셋 탐색을 촉진한다.
• 복잡한 데이터셋 내에서 부족하게 표현되거나 잘못 분류된 이미지 하위군을 시각적으로 드러내어 오류 및 편향 분석의 효과성을 향상시킨다.

제안 방법

• 각 이미지에 대해 사전 훈련된 딥 러닝 모델(예: ResNet50)을 사용해 고차원 이미지 임베딩을 추출한다.
• 임베딩에 대해 응집형 계층 군집화(Ward 연결)를 적용하여 이미지 유사성의 계층적 구조를 포괄하는 덴드로그램을 구축한다.
• 결과로 생성된 계층을 트리맵 레이아웃으로 매핑하여 각 노드가 클러스터를 나타내며, 사각형의 면적이 클러스터에 포함된 이미지 수에 비례하도록 한다.
• 상호작용 가능한 줌 기능을 제공: 클러스터를 클릭하면 현재 뷰가 하위 클러스터로 교체되며, 전환 과정이 애니메이션으로 구현되어 더 세밀한 추상화 수준에서 탐색이 가능하다.
• 사이드바를 통해 표시되는 클러스터 수를 동적으로 제어할 수 있도록 하여 세부 수준 조절이 가능하다.
• 클래스 수준 통계 및 메타데이터를 인터페이스에 통합하여 하위군 분석 및 오류 탐지 지원을 한다.

실험 결과

연구 질문

• RQ1 트리맵 기반 시각화는 국소 유사성 구조를 유지하면서도 대규모 이미지 데이터셋에 효과적으로 조직되고 확장 가능한가?
• RQ2 DendroMap는 t-SNE-Grid에 비해 고차원 공간에서 이미지 간 k-가까운 이웃 관계를 얼마나 잘 유지하는가?
• RQ3 DendroMap는 그룹화, 검색, 데이터 편향 또는 모델 오류 식별과 같은 작업에서 사용자 상호작용을 얼마나 효과적으로 지원하는가?
• RQ4 사용자들은 DendroMap을 전통적인 t-SNE 및 격자 기반 시각화와 비교해 어떻게 평가하는가?
• RQ5 계층적 군집화와 트리맵을 조합함으로써 비계층적 대안에 비해 더 직관적이고 확장 가능한 이미지 데이터셋 구조 탐색이 가능한가?

주요 결과

• 12개의 테스트 데이터셋을 대상으로 한 분석 결과, DendroMap은 t-SNE-Grid에 비해 국소 유사성 구조를 훨씬 더 잘 유지함을 입증했으며, k-가까운 이웃 목록의 평균 겹침 비율이 높았다.
• 사용자 연구에서 참가자들은 DendroMap을 t-SNE-Grid보다 그룹화 및 검색 작업 모두에서 선호했으며, 이는 사용성 향상과 작업 성능 향상을 시사한다.
• 시스템은 효과적인 다수 수준 탐색을 가능하게 하였다: 사용자는 클러스터 수를 동적으로 조절하고 애니메이션 전환을 통해 특정 이미지 하위군에 상호작용적으로 줌 인할 수 있었다.
• DendroMap은 성능이 열등한 하위군과 이미지 다양성 문제를 성공적으로 드러내어, CIFAR-100 및 ImageNet과 같은 실제 이미지 데이터셋에서 오류 및 편향 분석을 지원했다.
• 10,000개 이미지로 구성된 CIFAR-10 테스트 세트의 군집화 시간은 36.8초였으며, t-SNE의 32.0초와 유사하여 한 번의 사전 처리 단계로도 수용 가능한 계산 비용을 보였다.
• DendroMap의 계층적 구조는 사용자가 전반적인 데이터셋 개요에서 세밀한 하위군까지 탐색할 수 있도록 하여 해석 가능성과 분석 깊이를 향상시켰다.