[논문 리뷰] DASH: Visual Analytics for Debiasing Image Classification via User-Driven Synthetic Data Augmentation

Bum Chul Kwon, Jungsoo Lee외 4명|arXiv (Cornell University)|2022. 01. 01.

Cell Image Analysis Techniques인용 수 8

한 줄 요약

DASH는 사용자 중심의 시각적 분석 시스템으로, 상호작용 가능한 시각화를 통해 편향 요인을 식별하고, XploreGAN 기반의 이미지 간 번역을 통해 합성 학습 데이터를 생성하며, 반복적으로 모델을 재학습시어 이미지 분류 모델의 편향을 제거하는 데 기여한다. 이 시스템은 편향이 있는 데이터셋에서 모델의 정확도를 크게 향상시키며, 사용자들이 반복적인 개선을 통해 만화 데이터셋에서 90%의 테스트 정확도, 과일 데이터셋에서 65%의 테스트 정확도를 달성했다.

ABSTRACT

Image classification models often learn to predict a class based on irrelevant co-occurrences between input features and an output class in training data. We call the unwanted correlations ''data biases,'' and the visual features causing data biases ''bias factors.'' It is challenging to identify and mitigate biases automatically without human intervention. Therefore, we conducted a design study to find a human-in-the-loop solution. First, we identified user tasks that capture the bias mitigation process for image classification models with three experts. Then, to support the tasks, we developed a visual analytics system called DASH that allows users to visually identify bias factors, to iteratively generate synthetic images using a state-of-the-art image-toimage translation model, and to supervise the model training process for improving the classification accuracy. Our quantitative evaluation and qualitative study with ten participants demonstrate the usefulness of DASH and provide lessons for future work.

연구 동기 및 목표

• 이미지 분류 모델에서 비의도적인 시각적 특징(예: swampland 배경)과 클래스 레이블(예: 개구리) 사이의 무의미한 상관관계를 학습하는 데이터 편향 문제를 해결하기 위함.
• 모델 예측과 특징 중요도를 시각적으로 탐색함으로써 데이터 과학자들이 편향 요인을 식별하는 데 지원하기 위함.
• 최신 기술인 이미지 번역(XploreGAN)을 활용해 편향 요소를 제거한 합성 이미지를 생성함으로써 반복적이고 사용자 주도의 데이터 증강을 가능하게 하기 위함.
• 모델 재학습 반복 과정에서의 성능을 통합적으로 모니터링하고 모델 개선을 이끄는 통합 시각적 인터페이스 제공하기 위함.

제안 방법

• DASH는 다중 시각화 뷰를 통합적으로 운영한다: 잠재 공간의 클러스터링을 위한 프로젝션 뷰, 재학습 반복 간 모델 성능 비교를 위한 모자이크 뷰, 예측 변화 추적을 위한 트레이스 뷰.
• 그래드-카드 시각화 뷰는 주의 맵을 시각화하여 분류 결정에 영향을 주는 이미지 영역을 파악함으로써 편향 요인 탐지에 기여한다.
• 클러스터 GAN 뷰는 XploreGAN을 사용해 소스 이미지의 시각적 특징(예: 배경)을 타겟 이미지로 이동시키면서 주요 객체를 유지함으로써 합성 데이터 생성을 가능하게 한다.
• 증강된 이미지 뷰는 재학습을 위한 레이블이 부여된 새로 생성된 이미지를 표시하며, 분류기 보드는 모델 버전 간 성능 지표를 추적한다.
• 사용자는 반복적으로 편향 원인을 식별하고, 합성 데이터를 생성하며, 모델을 재학습하고, 시스템의 시각적 피드백 루프를 활용해 성능을 평가한다.
• 초기 설정 및 모델 버전 간 비교를 위한 시각적·정량적 피드백을 제공함으로써 사용자 주도의 모델 재학습을 지원한다.

실험 결과

연구 질문

• RQ1 시각적 분석은 데이터 과학자들이 이미지 분류 모델의 편향 요인을 식별하는 데 어떻게 지원할 수 있는가?
• RQ2 편향 제거를 위한 효과적인 사용자 주도 합성 데이터 생성을 가능하게 하는 시각적 상호작용 패턴은 무엇인가?
• RQ3 사용자 참여가 데이터 증강에 영향을 미치면 모델 성능과 편향 완화에 어떤 영향을 미치는가?
• RQ4 이러한 시스템을 사용해 모델 편향 제거를 수행할 때의 주요 과제와 사용성 장벽은 무엇인가?

주요 결과

• 10명의 머신러닝 전문가들이 DASH를 활용해 두 개의 실제 데이터셋에서 편향을 성공적으로 완화했으며, 만화 데이터셋에서 90%의 테스트 정확도를 달성했다.
• 10명의 참가자 중 7명이 과일 데이터셋에서 65%의 테스트 정확도를 달성하여, 더 복잡한 실제 데이터에 대해서도 시스템의 효과성을 입증했다.
• 참가자들은 만화 데이터셋에서 평균 2.1회의 재학습 반복을, 과일 데이터셋에서는 평균 3.3회의 재학습 반복을 수행했으며, 이는 반복적 개선이 필요하며 DASH가 이를 효과적으로 지원한다는 것을 시사한다.
• 와일콕 순서합검정(Wilcoxon Signed Rank Test)은 두 데이터셋 간 재학습 노력에 통계적으로 유의미한 차이가 있음을 확인했으며(p=0.048), 이는 인식된 난이도의 차이를 반영한다.
• 사용자들은 사전 지식와 도메인 전문 지식이 매우 중요하다고 보고했으며, 일부 참가자는 기술에 대한 불신으로 인해 특정 뷰(예: Grad-CAM)를 회피하기도 했다.
• 참가자들은 증강 이력 추적 기능과 자주 잘못 분류되는 이미지에 특화된 분석 기능을 요청했으며, 이는 향후 시스템 개선을 위한 기회를 시사한다.