[논문 리뷰] Towards Involving End-users in Interactive Human-in-the-loop AI Fairness

Yuri Nakao, Simone Stumpf외 3명|arXiv (Cornell University)|2022. 04. 22.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 비기술적 최종 사용자가 설명 가능한 디버깅을 통해 대출 결정 AI 시스템의 공정성 문제를 식별하고 수정할 수 있도록 돕는 상호작용적이고 인간이 개입하는 AI 공정성 인터페이스를 제안한다. 모델 신뢰도와 특성 값과 같은 해석 가능성 기능을 바탕으로 사용자가 특성 가중치를 조정함으로써 시스템은 최종 사용자가 공정성을 향상시킬 수 있도록 한다. 특히 남성성, 불확실성 회피, 유혹성 등의 문화적 차원이 공정성 판단에 크게 영향을 미친다.

ABSTRACT

Ensuring fairness in artificial intelligence (AI) is important to counteract bias and discrimination in far-reaching applications. Recent work has started to investigate how humans judge fairness and how to support machine learning (ML) experts in making their AI models fairer. Drawing inspiration from an Explainable AI (XAI) approach called \emph{explanatory debugging} used in interactive machine learning, our work explores designing interpretable and interactive human-in-the-loop interfaces that allow ordinary end-users without any technical or domain background to identify potential fairness issues and possibly fix them in the context of loan decisions. Through workshops with end-users, we co-designed and implemented a prototype system that allowed end-users to see why predictions were made, and then to change weights on features to "debug" fairness issues. We evaluated the use of this prototype system through an online study. To investigate the implications of diverse human values about fairness around the globe, we also explored how cultural dimensions might play a role in using this prototype. Our results contribute to the design of interfaces to allow end-users to be involved in judging and addressing AI fairness through a human-in-the-loop approach.

연구 동기 및 목표

• 비기술적 최종 사용자가 AI 기반 대출 결정에서의 공정성 문제를 평가하고 수정할 수 있도록 상호작용적이고 해석 가능한 인간이 개입하는 인터페이스를 설계하는 것.
• 기술적 또는 영역 전문 지식이 없는 최종 사용자가 모델 설명을 활용해 AI 시스템의 공정성에 어떻게 평가하고 행동하는지 조사하는 것.
• 문화적 차원이 최종 사용자의 AI 시스템에서의 공정성 판단과 개입에 어떤 역할을 하는지 탐색하는 것.
• 프로토타입과 온라인 연구를 통해 사용자 주도의 가중치 조정이 모델의 공정성 향상에 얼마나 효과적인지 평가하는 것.

제안 방법

• 최종 사용자가 공정성과 관련된 잘못된 예측를 식별하고 수정할 수 있도록 상호작용 기반 기계학습에서 유래한 설명 가능한 디버깅 기법을 도입하였다.
• 신뢰도 점수, 특성 가중치, 결정 경계, 유사도 지표를 사용하여 모델 결정을 시각화하는 프로토타입 시스템을 설계하였다.
• 최종 사용자가 특성 가중치를 상호작용적으로 수정하여 모델 행동을 조정하고 공정성 향상을 테스트할 수 있도록 하였다.
• 비전문가를 위한 사용성 확보를 위해 최종 사용자와의 공동 설계 워크숍을 실시하여 인터페이스 설계를 지원하였다.
• 교수의 문화적 차원 프레임워크를 활용하여 공정성 인식과 개입 행동의 다문화적 차이를 분석하였다.
• 프로토타입의 사용성과 공정성 인식 및 조정에 미치는 영향을 평가하기 위해 최종 사용자를 대상으로 온라인 연구를 수행하였다.

실험 결과

연구 질문

• RQ1 기술적 전문 지식이 없는 최종 사용자가 AI 시스템의 공정성 문제를 식별하고 수정할 수 있도록 상호작용적 인간이 개입하는 인터페이스를 어떻게 설계할 수 있는가?
• RQ2 최종 사용자는 AI 대출 결정의 공정성을 어떻게 평가하며, 어떤 요소들(예: 신뢰도, 가중치, 특성 값)이 그들의 판단에 영향을 미치는가?
• RQ3 남성성, 불확실성 회피, 유혹성과 같은 문화적 차원이 최종 사용자의 공정성 평가와 개입에 얼마나 영향을 미치는가?

주요 결과

• 최종 사용자는 모델의 신뢰도, 특성 가중치, 특성 값을 분석하고 개별 대출 신청 사례의 그래픽적 비교를 통해 공정성을 효과적으로 평가하였다.
• 프로토타입을 통해 최종 사용자가 특성 가중치 조정을 통해 의미 있는 공정성 향상을 이룰 수 있었으며, 사용자 주도의 모델 보정 가능성을 입증하였다.
• 문화적 차원이 공정성 인식에 크게 영향을 미쳤으며, 남성성, 불확실성 회피, 유혹성이 사용자 행동과 판단을 형성하는 핵심 요소로 부각되었다.
• 설명이 명확하게 제시되었을 경우 사용자가 모델 행동을 이해하는 데 성공했으며, 이는 효과적인 최종 사용자 참여를 위해 해석 가능성의 중요성을 시사한다.
• 연구 결과, 최종 사용자는 공정성을 정의론적 정의와 위험 인식 기반으로 평가했으며, 이는 문화적 맥락에 따라 달라졌고, 이는 문화적으로 인지된 AI 설계의 필요성을 강조한다.
• 실시간 피드백 및 모델 재학습의 한계가 있었음에도 불구하고, 오프라인 프로토타입은 인간이 개입하는 공정성 간섭의 잠재력을 성공적으로 시연하였다.