[논문 리뷰] REVISE: A Tool for Measuring and Mitigating Bias in Visual Datasets

Angelina Wang, Alexander Liu외 7명|arXiv (Cornell University)|2020. 04. 16.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

REVISE는 객체 기반, 인물 기반, 지리 기반의 세 가지 차원에서 시각적 데이터셋의 편향을 자동으로 탐지하고 완화하는 도구이다. 객체 빈도, 척도, 맥락, 인구 통계적 표현, 지리적 분포를 분석함으로써 데이터셋 셀렉션 및 모델 훈련을 안내할 수 있는 실행 가능한 통찰을 제공하여 컴퓨터 비전 시스템의 후행 편향을 줄인다.

ABSTRACT

Machine learning models are known to perpetuate and even amplify the biases present in the data. However, these data biases frequently do not become apparent until after the models are deployed. Our work tackles this issue and enables the preemptive analysis of large-scale datasets. REVISE (REvealing VIsual biaSEs) is a tool that assists in the investigation of a visual dataset, surfacing potential biases along three dimensions: (1) object-based, (2) person-based, and (3) geography-based. Object-based biases relate to the size, context, or diversity of the depicted objects. Person-based metrics focus on analyzing the portrayal of people within the dataset. Geography-based analyses consider the representation of different geographic locations. These three dimensions are deeply intertwined in how they interact to bias a dataset, and REVISE sheds light on this; the responsibility then lies with the user to consider the cultural and historical context, and to determine which of the revealed biases may be problematic. The tool further assists the user by suggesting actionable steps that may be taken to mitigate the revealed biases. Overall, the key aim of our work is to tackle the machine learning bias problem early in the pipeline. REVISE is available at https://github.com/princetonvisualai/revise-tool

연구 동기 및 목표

• 모델 배포 이전에 대규모 시각적 데이터셋에서 체계적인 편향 탐지를 위한 부족을 보완한다.
• 편향된 모델 행동을 유도할 수 있는 시각적 데이터의 부족 또는 잘못된 표현을 식별한다.
• 검출된 편향을 완화하기 위해 데이터셋 제작자 및 사용자에게 실행 가능한 권고를 제공한다.
• 데이터셋 내 객체, 인물, 지리적 표현을 분석하여 사전 편향 완화를 가능하게 한다.
• 수동 검토가 놓칠 수 있는 숨겨진 편향을 드러내어 투명성과 공정성을 높인다.

제안 방법

• 객체 기반(빈도, 척도, 맥락, 다양성), 인물 기반(인구 통계적 표현, 성별/피부 톤 태깅), 지리 기반(지역 표현)의 세 가지 편향 차원을 사용해 시각적 데이터셋을 분석한다.
• 객체 공존 패턴과 장면 맥락을 활용해 잠재적 쿼리 기반 데이터 수집 전략을 유추한다.
• 원하는 객체 척도를 회복하기 위해 쿼리 추천(예: '비행기와 하늘' 대비 '비행기와 지면')을 생성한다.
• 실제 쿼리가 제공되지 않을 경우 이미지 공존 기반의 대체 지표를 사용해 원래 검색 쿼리를 추정한다.
• Flickr 이미지 검색 결과를 활용해 쿼리의 효과성을 검증함으로써 객체 크기 및 맥락에 대한 제어를 확인한다.
• 실제 데이터셋(COCO, OpenImages, YFCC100M, BDD100K)과 통합하여 실용적 유용성을 입증한다.

실험 결과

연구 질문

• RQ1 어떻게 객체, 인물, 지리적 차원에서 시각적 데이터셋의 편향을 체계적으로 탐지할 수 있는가?
• RQ2 이미지 내 객체의 크기와 맥락은 어떤 정도 기반 데이터 수집 편향을 반영하는가?
• RQ3 성별, 피부 톤 등의 인구 통계 태깅은 이미지 척도 및 맥락과 어떻게 상관관계가 있으며, 어떤 위험을 초래하는가?
• RQ4 지리적 출처는 특히 사용자 생성 콘텐츠에서 데이터셋 표현에 어떤 역할을 하는가?
• RQ5 실제 쿼리가 알려지지 않았을 경우, 대체 기반 쿼리 추천이 원하는 객체 척도를 가진 이미지를 효과적으로 복구할 수 있는가?

주요 결과

• COCO에서 비행기, 침대, 피자와 같은 객체는 크기가 크게 묘사된 경향이 있었으며, 이는 공중 또는 먼 거리의 시각이 부족하기 때문일 가능성이 높아, 타겟된 데이터 수집이 필요하다고 보여진다.
• OpenImages에서 해상도가 낮고 작은 사람의 69%가 검토자에 의해 남성으로 레이블링되었으며, 이는 향후 모델에 성별 편향이 확산될 위험이 있음을 시사한다.
• YFCC100M에서 개발 중인 지역의 대부분 국가(47%)가 주로 방문자에 의해 생성된 사진으로 구성되어 있어, 지리적 표현에 대한 스테레오타입이 강하게 나타났다.
• 쿼리 기반 추천(예: '피자와 교실' 대비 '피자와 broccolli')을 통해 검색 결과의 객체 크기를 성공적으로 제어함으로써, 타겟된 쿼리를 통한 편향 완화의 가능성과 실현 가능성을 입증하였다.
• 실제 쿼리가 제공되지 않을 경우, 객체 공존 패턴이 원래 검색 쿼리의 신뢰할 수 있는 대체 지표로 작용하며, 효과적인 편향 분석이 가능하다.
• 이 도구는 특정 편향 유형에 대한 사전 지식 없이도 이전에 발견되지 않은 편향을 탐지할 수 있어, 사전 공정성 향상 노력에 기여한다.