[論文レビュー] DendroMap: Visual Exploration of Large-Scale Image Datasets for Machine Learning with Treemaps

Donald Bertucci, Md Montaser Hamid+5 more|arXiv (Cornell University)|May 14, 2022

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

DendroMapは、機械学習向けの大規模な画像データセットを探索するための、階層的ツリーマップを用いた革新的なインタラクティブ可視化システムである。高次元の画像埋め込みをクラスタリングし、動的でズーム可能なツリーマップインターフェースに整理することで、DendroMapはデータセットの構造を効率的にナビゲートでき、性能が低いサブグループの特定や分類誤りの分析が可能になる。t-SNE-Gridに比べて局所的類似性をより良く保持しており、制御された研究においてユーザーの好みも上回っている。

ABSTRACT

In this paper, we present DendroMap, a novel approach to interactively exploring large-scale image datasets for machine learning (ML). ML practitioners often explore image datasets by generating a grid of images or projecting high-dimensional representations of images into 2-D using dimensionality reduction techniques (e.g., t-SNE). However, neither approach effectively scales to large datasets because images are ineffectively organized and interactions are insufficiently supported. To address these challenges, we develop DendroMap by adapting Treemaps, a well-known visualization technique. DendroMap effectively organizes images by extracting hierarchical cluster structures from high-dimensional representations of images. It enables users to make sense of the overall distributions of datasets and interactively zoom into specific areas of interests at multiple levels of abstraction. Our case studies with widely-used image datasets for deep learning demonstrate that users can discover insights about datasets and trained models by examining the diversity of images, identifying underperforming subgroups, and analyzing classification errors. We conducted a user study that evaluates the effectiveness of DendroMap in grouping and searching tasks by comparing it with a gridified version of t-SNE and found that participants preferred DendroMap. DendroMap is available at https://div-lab.github.io/dendromap/.

研究の動機と目的

• 大規模なデータセットに適用する際、t-SNE やグリッドレイアウトといった従来の画像データセット可視化手法に見られるスケーラビリティおよびインタラクティビティの制限を克服すること。
• 機械学習の実務者がデータバイアスを検出したり、モデルの誤りを分析したり、画像の多様性をスケールで評価できるように、データ中心のAI実践を支援すること。
• 局所的類似性構造を保持しつつ、階層的クラスタリングを通じて複数レベルの探索が可能なスケーラブルでインタラクティブな可視化を提供すること。
• クラスタの細分化の粒度を動的に調整でき、サブグループへのセマンティックズームが可能なため、ユーザー主導の画像データセット探索を促進すること。
• 複雑なデータセット内での代表されないか、誤分類された画像サブグループを視覚的に明らかにすることで、誤りおよびバイアス分析の効果を高めること。

提案手法

• データセット内の各画像に対して、事前学習済みの深層学習モデル（例：ResNet50）を用いて高次元の画像埋め込みを抽出する。
• 画像類似度の階層的構造を捉えるために、埋め込みに階層的凝集型クラスタリング（Ward連結法）を適用し、デンドログラムを構築する。
• 得られた階層構造をツリーマップレイアウトにマッピングし、各ノードがクラスタを表し、長方形の面積がそのクラスタ内の画像数に比例するようにする。
• インタラクティブなズーム機能を実装：クラスタをクリックすると、現在のビューがそのサブクラスタに置き換えられ、遷移がアニメーションで表示され、より細かい抽象化レベルでの探索が可能になる。
• サイドバーを介して、表示するクラスタ数をユーザーが動的に制御できるようにし、詳細度の調整が可能になる。
• クラスレベルの統計情報およびメタデータをインターフェースに統合し、サブグループ分析や誤り検出を支援する。

実験結果

リサーチクエスチョン

• RQ1 ツリーマップベースの可視化は、局所的類似性構造を保持しつつ、大規模な画像データセットにスケーリングして効果的に組織化できるか？
• RQ2 DendroMapは、高次元空間における画像間のk近傍関係を、t-SNE-Gridに比べてどの程度良好に保持しているか？
• RQ3 DendroMapは、グループ化、検索、データバイアスやモデル誤りの特定といったタスクにおいて、ユーザーのインタラクションをどの程度効果的に支援できるか？
• RQ4 従来のt-SNEおよびグリッドベースの可視化と比較して、ユーザーはDendroMapの使いやすさと効果性をどのように評価するか？
• RQ5 階層的クラスタリングとツリーマップを組み合わせることで、非階層的代替手法に比べ、画像データセット構造のより直感的でスケーラブルな探索が可能になるか？

主な発見

• 12のテストデータセットで評価した結果、DendroMapはt-SNE-Gridに比べて局所的類似性構造を顕著に良く保持しており、k近傍リストの平均オーバーラップが高かった。
• ユーザー研究において、DendroMapはt-SNE-Gridよりもグループ化および検索タスクの両方で好まれており、使いやすさとタスクパフォーマンスの向上が示された。
• 本システムは、複数レベルの探索を効果的に可能にしている：ユーザーはクラスタ数を動的に調整でき、アニメーション付きの遷移で特定の画像サブグループにズームインしてインタラクティブに探索できる。
• DendroMapは、CIFAR-100 や ImageNet といった実世界の画像データセットにおいて、性能が低いサブグループやデータ多様性の問題を効果的に明らかにでき、誤りおよびバイアス分析を支援した。
• 10,000枚の画像を含むCIFAR-10テストセットにおけるクラスタリング時間は36.8秒であり、t-SNEの32.0秒と比較的近い結果を示し、一回の事前処理ステップとしての計算コストは妥当であることが示された。
• DendroMapの階層的構造により、ユーザーはデータセット全体の概要から細部のサブグループまでナビゲートでき、解釈可能性と分析の深さが向上した。