[논문 리뷰] Keeping Designers in the Loop: Communicating Inherent Algorithmic Trade-offs Across Multiple Objectives

Bowen Yu, Ye Yuan외 4명|arXiv (Cornell University)|2019. 10. 07.

Ethics and Social Impacts of AI참고 문헌 42인용 수 5

한 줄 요약

이 논문은 특히 재범 위험 평가에서의 공정성과 정확성 간의 트레이드오프를 탐색하는 데 도움이 되는 상호작용 가능한 시각화 방법을 제안한다. 대규모 온라인 실험과 전문가 인터뷰를 통해 평가된 이 방법은 알고리즘 트레이드오프를 투명하게 탐색할 수 있도록 하여, 더 나은 정보 기반의, 가치 기반의 모델 선택을 가능하게 한다.

ABSTRACT

Artificial intelligence algorithms have been used to enhance a wide variety of products and services, including assisting human decision making in high-stakes contexts. However, these algorithms are complex and have trade-offs, notably between prediction accuracy and fairness to population subgroups. This makes it hard for designers to understand algorithms and design products or services in a way that respects users' goals, values, and needs. We proposed a method to help designers and users explore algorithms, visualize their trade-offs, and select algorithms with trade-offs consistent with their goals and needs. We evaluated our method on the problem of predicting criminal defendants' likelihood to re-offend through (i) a large-scale Amazon Mechanical Turk experiment, and (ii) in-depth interviews with domain experts. Our evaluations show that our method can help designers and users of these systems better understand and navigate algorithmic trade-offs. This paper contributes a new way of providing designers the ability to understand and control the outcomes of algorithmic systems they are creating.

연구 동기 및 목표

• AI 시스템 설계에서 디자이너, 사용자, 알고리즘 개발자 간의 커뮤니케이션 격차를 해소하기 위해.
• 특히 공정성과 정확성 간의 트레이드오프를 포함한 다목적 AI 알고리즘의 내재된 트레이드오프를 디자이너와 사용자가 이해하도록 돕기 위해.
• 예측 모델의 트레이드오프를 시각화하고 탐색할 수 있는 방법을 제공하여 가치 중심의 알고리즘 선택을 지원하기 위해.
• 윤리적 및 성능 트레이드오프가 중요한 고위험 의사결정 환경—예를 들어 범죄 재범 예측과 같은—에서의 의사결정을 지원하기 위해.
• 기계학습에 깊은 기술적 지식이 없더라도 비전문가 디자이너가 알고리즘 트레이드오프에 의미 있게 참여할 수 있도록 하기 위해.

제안 방법

• 알고리즘 튜닝을 통해 공정성-정확성 트레이드오프의 광범위한 스펙트럼을 포함하는 예측 모델의 가족을 생성하기 위해.
• 다중 목표에 걸쳐 모델 성능을 탐색하고 비교할 수 있도록 상호작용 가능한 시각화를 설계하기 위해.
• 공정성 제약의 변화가 정확성과 부분군 간 격차에 어떻게 영향을 주는지 시각적 신호(예: 점, 슬라이더, 동적 업데이트 등)를 사용해 설명하기 위해.
• 실제 데이터셋과 모델 가족을 사용하여 범죄 재범 예측 사례 연구 맥락에서 인터페이스를 구현하기 위해.
• 사용자의 이해도와 모델 선택 행동을 평가하기 위해 대규모 아ما존 메카니컬 터크 실험을 수행하기 위해.
• 실제 설계 및 의사결정 환경에서 도구의 유용성을 평가하기 위해 도메인 전문가의 심층 인터뷰를 보완적으로 실시하기 위해.

실험 결과

연구 질문

• RQ1 디자이너와 사용자가 AI 예측 모델의 공정성과 정확성 간 트레이드오프를 효과적으로 탐색하고 이해할 수 있는 방법은 무엇인가요?
• RQ2 상호작용 가능한 시각화는 사용자의 가치와 목표에 부합하는 모델 선택 능력을 얼마나 향상시킬 수 있나요?
• RQ3 전문 지식 수준이 다른 사용자(초보자 대 비전공자)는 시각 인터페이스에서 알고리즘 트레이드오프를 어떻게 탐색하고 해석합니까?
• RQ4 트레이드오프의 투명성이 사용자의 알고리즘 추천에 대한 신뢰도에 어떤 영향을 미칩니까?
• RQ5 공정성과 정확성에 대한 다양한 선호를 가진 이해관계자 간의 협상과 합의를 지원하는 설계 패턴은 무엇입니까?

주요 결과

• 상호작용 가능한 시각화 인터페이스는 초보자 사용자와 도메인 전문가 모두가 재범 예측 모델의 복잡한 공정성-정확성 트레이드오프를 효과적으로 탐색하고 이해하는 데 성공했다.
• 트레이드오프가 시각적으로 명확하게 드러나면 사용자가 개인의 가치와 우선순위에 맞는 모델 선택 능력이 향상됨을 확인했다.
• 트레이드오프의 투명성은 더 나은 의사결정을 이끌었으며, 사용자가 다양한 구성 설정의 결과를 볼 수 있었기 때문에 선택에 대해 더 큰 자신감을 느꼈다.
• 사용자들은 공정성 제약의 변화가 모델 성능에 어떻게 영향을 주는지 인지하는 데 시각적 피드백—예를 들어 부분군 격차를 보여주는 동적 점들—이 핵심적이라고 보고했다.
• 이 방법은 공정성-정확성 트레이드오프에 대한 이질적인 선호를 드러내었으며, 다수 이해관계자가 참여하는 설계 과정에서 협상 메커니즘이 필요하다는 점을 시사했다.
• 트레이드오프의 투명성은 신뢰에 이중적인 영향을 미쳤다: 사용자가 시스템을 이해할수록 신뢰가 증가했지만, 트레이드오프가 개인의 가치와 맞지 않을 경우 회의감을 느꼈다.