[논문 리뷰] Towards a multi-stakeholder value-based assessment framework for algorithmic systems

Mireia Yurrita, Dave Murray-Rust외 2명|arXiv (Cornell University)|2022. 01. 01.

Ethics and Social Impacts of AI참고 문헌 193인용 수 32

한 줄 요약

이 논문은 편향 감사 외에도 11개의 핵심 윤리적 가치를 포함하는 원형으로 배열된 이중성 구조를 통해 상충 관계와 긴장을 비주얼라이즈하는 다수의 이해관계자 기반, 가치 중심의 알고리즘 시스템 평가 프레임워크를 제안한다. 이 프레임워크는 가시화 가능한 지표, 과정 중심의 관행, 그리고 신호를 통해 이러한 가치들을 실현하며, 다양한 이해관계자에게 맞춤형 커뮤니케이션 수단을 맵핑하여 기계학습 개발 전 과정에서 포괄적이고 맥락 인식 기반의 윤리적 평가를 가능하게 한다.

ABSTRACT

<p>In an effort to regulate Machine Learning-driven (ML) systems, current auditing processes mostly focus on detecting harmful algorithmic biases. While these strategies have proven to be impactful, some values outlined in documents dealing with ethics in ML-driven systems are still underrepresented in auditing processes. Such unaddressed values mainly deal with contextual factors that cannot be easily quantified. In this paper, we develop a value-based assessment framework that is not limited to bias auditing and that covers prominent ethical principles for algorithmic systems. Our framework presents a circular arrangement of values with two bipolar dimensions that make common motivations and potential tensions explicit. In order to operationalize these high-level principles, values are then broken down into specific criteria and their manifestations. However, some of these value-specific criteria are mutually exclusive and require negotiation. As opposed to some other auditing frameworks that merely rely on ML researchers' and practitioners' input, we argue that it is necessary to include stakeholders that present diverse standpoints to systematically negotiate and consolidate value and criteria tensions. To that end, we map stakeholders with different insight needs, and assign tailored means for communicating value manifestations to them. We, therefore, contribute to current ML auditing practices with an assessment framework that visualizes closeness and tensions between values and we give guidelines on how to operationalize them, while opening up the evaluation and deliberation process to a wide range of stakeholders.</p>

연구 동기 및 목표

• 현재 기계학습 감사 관행이 편향 탐지에 국한되어 있으며, 도전성, 투명성, 책임성과 같은 더 넓은 윤리적 가치를 간과하는 데서 비롯되는 격차를 해소한다.
• 고도의 윤리 원칙을 실천 가능한 기준과 표현으로 구체화하는 체계적이고 실행 가능한 프레임워크를 개발한다.
• 다양한 이해관계자들이 가치 표현을 위한 맞춤형 커뮤니케이션 수단을 통해 의미 있게 참여할 수 있도록 유도함으로써 윤리적 논의의 포괄성을 높인다.
• 윤리적 가치를 원형으로 배열된 이중성 구조로 정리하여 가치 간 긴장과 공통의 동기를 비주얼라이즈함으로써 기계학습 개발 과정에서 사전적 윤리적 개입을 지원한다.
• 유연하고 확장 가능한 프레임워크를 제공하여 맥락에 맞는 적응과 기계학습 파이프라인 전반에 걸친 지속적인 이해관계자 참여를 장려한다.

제안 방법

• 11개의 주요 윤리적 가치(예: 공정성, 투명성, 도전성 등)를 원형으로 배열된 이중성 프레임워크로 구성하여 가치 간 상호작용, 상충 관계, 공통의 동기를 명확히 한다.
• 각 가치를 구체적인 기준과 그 표현으로 분해하며, 이를 가시화 가능한 지표, 과정 중심의 관행, 또는 시스템 기능에 대한 인식 신호(지표)로 분류한다.
• 개발자, 최종 사용자, 감사자, 결정 영향을 받는 자 등 이해관계자 프로필을 그들의 특수한 통찰 필요성과 연결하고, 가치 표현을 위한 맞춤형 커뮤니케이션 수단(예: 대시보드, 보고서, 시각화 도구)을 할당한다.
• 기계학습 개발 및 구현 파이프라인에 프레임워크를 통합하여 설계 단계에서의 사전적 가치 통합과 동시에 후행 평가 모두를 지원한다.
• 기존 도구 및 관행(예: Values Dashboard, GitHub 스타일 타임라인)을 활용하여 개발 단계 전반에 걸친 이해관계자 참여와 반복적 평가를 지원한다.
• 프레임워크를 개방형, 공동 참여 기반의 온라인 레포지터리에 배치하여 커뮤니티 기여와 도구 및 커뮤니케이션 수단의 지속적 확장 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 기계학습 시스템의 윤리적 가치를 어떻게 체계적으로 정렬할 수 있을까? 이를 통해 공통의 동기와 내재된 긴장을 드러낼 수 있는가?
• RQ2 공정성, 투명성, 도전성과 같은 고수준 윤리적 가치를 맥락 인식 기반으로 실현하기 위해 어떤 기준과 표현이 필요한가?
• RQ3 다양한 이해관계자들이 가치 표현을 위한 맞춤형 커뮤니케이션 수단을 통해 알고리즘 시스템 평가에 의미 있게 참여할 수 있는가?
• RQ4 맥락적 요소와 장기적 시스템 영향은 윤리적 평가에서 어떤 역할을 하는가? 이러한 요소들은 감사 프레임워크에 어떻게 통합될 수 있는가?
• RQ5 이 프레임워크는 기계학습 개발 전 과정에서 후행 평가와 사전적 윤리적 설계를 어떻게 지원할 수 있는가?

주요 결과

• 11개의 윤리적 가치를 원형으로 배열한 이중성 구조는 공통의 동기와 상충 관계를 비주얼라이즈하여 가치 간 긴장과 상호의존성을 명확히 드러낸다.
• 각 가치는 실천 가능한 기준으로 분해되며, 이를 가시화 가능한 지표, 과정 중심의 관행, 또는 시스템 기능에 대한 인식 신호로 표현함으로써 기계학습 파이프라인 전반에서의 구현 가능성을 확보한다.
• 기술적 숙련도와 통찰 필요성이 다른 이해관계자들은 특정 커뮤니케이션 수단(예: 개발자를 위한 대시보드, 최종 사용자를 위한 단순 보고서)에 맵핑된다.
• 프레임워크는 연구 격차를 특정화하며, 결정 영향을 받는 대상자를 대상으로 한 공정성 표현을 위한 커뮤니케이션 도구의 부족함을 드러내어 향후 연구에 있어 개발이 필요한 핵심 영역임을 시사한다.
• 이 프레임워크는 후행 평가와 사전적 윤리적 설계를 모두 지원하며, Values Dashboard와 같은 도구를 통해 기존 개발 워크플로우에 통합 가능할 잠재력을 지닌다.
• 개방형, 공동 참여 기반의 레포지터리 모델은 프레임워크의 지속적 확장과 적응을 장려하여 장기적 지속 가능성과 맥락에 맞는 맞춤형 개선을 가능하게 한다.