[논문 리뷰] The Impact of Presentation Style on Human-In-The-Loop Detection of Algorithmic Bias

Po-Ming Law, Sana Malik외 2명|arXiv (Cornell University)|2020. 01. 01.

Ethics and Social Impacts of AI참고 문헌 24인용 수 1

한 줄 요약

이 연구는 반자동 편향 탐지 도구에서의 제시 방식이 인간-기계 협업 편향 검토에 어떻게 영향을 미치는지 조사한다. 16명의 참가자가 참여한 실험실 연구를 통해, 추천 목록은 보고되지 않은 성능 측정치의 고려를 줄이는 것으로 나타났으며, 이에 따라 도구 설계를 안내하기 위해 '정보 부하'와 '포괄성'이라는 두 가지 설계 축을 제안한다.

ABSTRACT

While decision makers have begun to employ machine learning, machine learning models may make predictions that bias against certain demographic groups. Semi-automated bias detection tools often present reports of automatically-detected biases using a recommendation list or visual cues. However, there is a lack of guidance concerning which presentation style to use in what scenarios. We conducted a small lab study with 16 participants to investigate how presentation style might affect user behaviors in reviewing bias reports. Participants used both a prototype with a recommendation list and a prototype with visual cues for bias detection. We found that participants often wanted to investigate the performance measures that were not automatically detected as biases. Yet, when using the prototype with a recommendation list, they tended to give less consideration to such measures. Grounded in the findings, we propose information load and comprehensiveness as two axes for characterizing bias detection tasks and illustrate how the two axes could be adopted to reason about when to use a recommendation list or visual cues.

연구 동기 및 목표

• 편향 탐지 도구에서의 다양한 제시 방식이 인간-기계 협업 검토 과정에서 사용자 행동에 미치는 영향을 조사하기 위해.
• 반자동 편향 탐지 인터페이스에서 추천 목록과 시각적 신호 간의 설계적 양면성을 규명하기 위해.
• 공정성 감사 도구에서 한 제시 방식을 다른 것보다 언제 사용할지에 대한 지침 부족 문제를 해결하기 위해.
• 정보 부하와 포괄성과 같은 작업 특성에 기반해 적절한 제시 방식을 선택하기 위한 프레임워크를 제안하기 위해.

제안 방법

• 제시 방식이 다른 두 가지 반자동 편향 탐지 프로토타입을 개발: 하나는 추천 목록을 사용하고, 다른 하나는 자동으로 보고된 편향을 강조하기 위해 시각적 신호를 사용.
• 16명의 참가자가 참여한 소규모 실험실 연구를 실시하여, 두 프로토타입을 모두 사용해 편향 보고서를 검토하도록 함.
• 참가자가 수동으로 선택한 성능 측정치(자동 보고된, 보고되지 않은, 수동 선택된 측정치)에 대한 데이터를 수집.
• 제시 방식이 보고되지 않은 성능 측정치의 고려에 어떻게 영향을 미쳤는지 분석하기 위해 사용자 행동을 평가.
• 편향 탐지 작업을 특성화하고 도구 설계를 안내하기 위해 '정보 부하'와 '포괄성'이라는 두 가지 축을 제안.
• 추천 목록과 시각적 신호를 조합한 하이브리드 접근 방식에 대한 향후 연구를 제안하여 중요한 보고되지 않은 측정치를 우선순위화하면서도 인지 부하를 줄이기 위함.

실험 결과

연구 질문

• RQ1 추천 목록과 시각적 신호를 사용할 경우, 편향 탐지 과정에서 보고되지 않은 성능 측정치의 고려에 어떤 영향을 미치는가?
• RQ2 자동으로 편향으로 표시되지 않은 성능 측정치를 사용자가 무시하는 경향이 나타나는 조건은 무엇인가?
• RQ3 정보 과부하 없이 공정성 지표의 포괄적 검토를 지원하기 위해 인터페이스 설계는 어떻게 해야 하는가?
• RQ4 작업 특성에 기반해 반자동 편향 탐지 도구의 제시 방식 선택을 안내할 수 있는 설계 원칙은 무엇인가?
• RQ5 인터페이스 설계가 기계 학습 모델에서 교차 편향을 탐지하는 데 미치는 영향은 무엇인가?

주요 결과

• 참가자들은 도구가 자동으로 편향으로 보고하지 않은 성능 측정치를 자주 검토하고자 했다.
• 추천 목록 프로토타입을 사용할 경우, 참가자들이 보고되지 않은 측정치를 상당히 덜 고려했으며, 직접 검토할 수 있는 옵션이 제공된 상황에서도 마찬가지였다.
• 시각적 신호 프로토타입은 보고된 측정치뿐 아니라 보고되지 않은 측정치까지도 더 철저히 검토하도록 유도했으며, 특히 정보 부하가 낮은 상황에서 두드러졌다.
• 정보 부하가 높고 포괄성이 우선시되지 않는 상황에서는 추천 목록이 인지 부하를 줄이고 효과적으로 작용했다.
• 높은 정보 부하와 높은 포괄성의 조합은 아직 더 깊이 탐색이 필요한 영역이며, 현재의 접근 방식이 부족할 수 있는 도전적인 설계 영역이다.
• 이 연구는 인터페이스 설계가 공정성 감사 과정에서 사용자 주의와 의사결정에 상당한 영향을 미친다는 점을 드러내며, 의도적인 도구 설계의 필요성을 강조한다.