[論文レビュー] DASH: Visual Analytics for Debiasing Image Classification via User-Driven Synthetic Data Augmentation

Bum Chul Kwon, Jungsoo Lee+4 more|arXiv (Cornell University)|Jan 1, 2022

Cell Image Analysis Techniques被引用数 8

ひとこと要約

DASHは、インタラクティブな可視化によるバイアス要因の同定、XploreGANを用いた画像対画像変換による合成学習データの生成、反復的な再訓練を通じて人間を含めたバイアス除去を可能にするビジュアルアナリティクスシステムである。このシステムは、バイアスを含むデータセットにおいてモデルの精度を顕著に向上させ、ユーザーが反復的改善を経てコマーシャルデータセットで90％、フルーツデータセットで65％のテスト精度を達成した。

ABSTRACT

Image classification models often learn to predict a class based on irrelevant co-occurrences between input features and an output class in training data. We call the unwanted correlations ''data biases,'' and the visual features causing data biases ''bias factors.'' It is challenging to identify and mitigate biases automatically without human intervention. Therefore, we conducted a design study to find a human-in-the-loop solution. First, we identified user tasks that capture the bias mitigation process for image classification models with three experts. Then, to support the tasks, we developed a visual analytics system called DASH that allows users to visually identify bias factors, to iteratively generate synthetic images using a state-of-the-art image-toimage translation model, and to supervise the model training process for improving the classification accuracy. Our quantitative evaluation and qualitative study with ten participants demonstrate the usefulness of DASH and provide lessons for future work.

研究の動機と目的

• 画像分類モデルにおけるデータバイアスの課題に対処すること。具体的には、モデルが関係のない視覚的特徴（例：スワムの背景）とラベル（例：カエル）の間で誤った相関関係を学習してしまう問題を解決すること。
• データサイエンティストがモデルの予測と特徴量の重要度の可視的探索を通じてバイアス要因を特定することを支援すること。
• 最先端の画像変換技術（XploreGAN）を用いてバイアス要因を除去した合成画像を生成することで、ユーザー主導の反復的データ拡張を可能にすること。
• 再訓練の各イタレーションにおけるモデルパフォーマンスを統合的に監視し、モデルの最適化を導くための統合的ビジュアルインターフェースを提供すること。

提案手法

• DASHは、複数の連携されたビジュアルビューを統合している：潜在空間のクラスタリングを可視化するProjection View、再訓練イタレーション間でのモデルパフォーマンスを比較するMosaic View、予測変化を追跡するTrace View。
• Grad-CAM Viewは、分類意思決定に影響を与える画像領域を特定するための注目マップを可視化し、バイアス要因の特定を支援する。
• Cluster GAN Viewは、XploreGANを用いて、元の画像の視覚的特徴（例：背景）をターゲット画像に転送しつつ、主な物体を保持することで、合成データ生成を実現する。
• Augmented Image Viewは、再訓練用にラベルが付与された新規に生成された画像を表示し、Classifiers Boardはモデルバージョンごとのパフォーマンスメトリクスを追跡する。
• ユーザーは、反復的にバイアス要因を特定し、合成データを生成し、モデルを再訓練し、システムのビジュアルフィードバックループを用いてパフォーマンスを評価する。
• 本システムは、ハイパーパramータの調整や、ビジュアル的および定量的フィードバックを通じたモデルバージョンの比較を可能にすることで、ユーザー主導のモデル再訓練を支援する。

実験結果

リサーチクエスチョン

• RQ1 ビジュアルアナリティクスは、画像分類モデルにおけるバイアス要因の特定を、データサイエンティストが支援するためにどのように機能するか？
• RQ2 効果的なユーザー主導の合成データ生成によるバイアス除去を実現するための、どのようなビジュアルインタラクションパターンが必要か？
• RQ3 ユーザーがデータ拡張に参加することで、モデルのパフォーマンスとバイアス低減にどのような影響を与えるか？
• RQ4 このようなシステムを用いたモデルのバイアス除去において、主な課題と使いやすさの障壁は何か？

主な発見

• 10名の機械学習専門家がDASHを用いて2つの実世界データセットにおけるデータバイアスを成功裏に是正し、コマーシャルデータセットで90％のテスト精度を達成した。
• 参加者の7名がフルーツデータセットで65％のテスト精度に到達し、本システムの複雑な実世界データに対する有効性が裏付けられた。
• コマーシャルデータセットでは平均2.1回の再訓練イタレーション、フルーツデータセットでは平均3.3回の再訓練イタレーションを要した。これは、反復的最適化が必要であり、DASHがそのプロセスを効果的に支援していることを示している。
• Wilcoxon符号順位検定により、2つのデータセット間での再訓練作業量に統計的に有意な差異が確認された（p=0.048）。これは、ユーザーがデータセットの難易度に差を感じていたことを反映している。
• ユーザーは、事前の知識やドメインエキスパートの経験が極めて重要であると報告した。一部のユーザーは、技術に不信感を抱いていたため、Grad-CAMなどのビューを避ける傾向があった。
• 参加者からは、拡張履歴の追跡機能や、頻繁に誤分類される画像の専用分析機能の追加を要望されており、今後のシステム強化の機会が示された。