[논문 리뷰] Fairness and Sequential Decision Making: Limits, Lessons, and Opportunities

Samer B. Nashed, Justin Svegliato외 1명|arXiv (Cornell University)|2023. 01. 13.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 예측 시스템에서의 공정성 개념이 순차적 의사결정 모델(예: 마르코프 결정 프로세스)에 어떻게 기여할 수 있는지, 그리고 윤리적 의사결정 기법이 공정성 연구에 어떻게 기여할 수 있는지 분석함으로써 알고리즘 공정성과 윤리적 의사결정을 연결한다. 순차적 시스템에 공정성 방법을 적용할 데 있어 핵심적인 한계를 규명하고, 상호 보완적 발전의 기회를 제시하며, 장기적 의사결정 시스템에서의 해석 가능성, 이해관계자 참여, 윤리적 분석 향상을 당부한다.

ABSTRACT

As automated decision making and decision assistance systems become common in everyday life, research on the prevention or mitigation of potential harms that arise from decisions made by these systems has proliferated. However, various research communities have independently conceptualized these harms, envisioned potential applications, and proposed interventions. The result is a somewhat fractured landscape of literature focused generally on ensuring decision-making algorithms "do the right thing". In this paper, we compare and discuss work across two major subsets of this literature: algorithmic fairness, which focuses primarily on predictive systems, and ethical decision making, which focuses primarily on sequential decision making and planning. We explore how each of these settings has articulated its normative concerns, the viability of different techniques for these different settings, and how ideas from each setting may have utility for the other.

연구 동기 및 목표

• 알고리즘 공정성과 윤리적 의사결정 연구 공동체 간의 개념적, 방법론적, 실천적 격차를 분석하기 위해
• 마르코프 결정 프로세스(MDP)와 같은 순차적 의사결정 프레임워크 내에서 편향 완화 및 공정성 메트릭스와 같은 공정성 기법의 타당성을 평가하기 위해
• 가치 정렬 및 장기적 영향 모델링과 같은 윤리적 의사결정 접근 방식이 동적 시스템에서의 공정성 연구에 어떻게 기여할 수 있는지 규명하기 위해
• 순차적 의사결정 시스템에서의 해석 가능성, 인간-중심 설계, 이해관계자 참여 분야에서 아직 탐색되지 않은 기회를 식별하기 위해
• 고위험 분야에서 순차적 AI 시스템의 윤리적, 투명하고 책임감 있는 구현을 보장하기 위해 통합적이고 다학제적 접근 방식을 촉구하기 위해

제안 방법

• 순차적 의사결정의 기초 모델로 마르코프 결정 프로세스(MDP)를 사용하여 그 구조, 해법 방법, 가정을 분석함
• 알고리즘 공정성 및 윤리적 의사결정 문헌 간의 규범적 고려사항, 공정성 메트릭스, 완화 전략을 비교함
• 모델 설계, 보상 형상화, 정책 학습을 포함한 순차적 의사결정 파이프라인을 분석하여 윤리적 리스크 및 간섭 포인트를 규명함
• 시간적 및 동적 종속성으로 인해 제한이 있는 순차적 환경에 적합한지 평가하기 위해 기존의 공정성 메트릭스(예: 인구 특성의 평등, 동일 기회)를 검토함
• 해석 가능성과 설명 가능성의 역할을 분석하여 공정성 문헌에서 유래한 개념인 실행 가능한 복구 및 상호 검토의 개념을 활용함
• 인간-컴퓨터 상호작용 분야에서 유래한 참가자 중심 설계 및 이해관계자 참여 관행을 AI 시스템 개발에 통합하여 윤리적 정렬을 도모함

실험 결과

연구 질문

• RQ1 예측 시스템에서의 공정성 메트릭스 및 완화 기법이 순차적 의사결정 모델에 얼마나 의미 있게 적용될 수 있는가?
• RQ2 가치 정렬 및 장기적 영향 모델링과 같은 윤리적 의사결정 프레임워크가 다단계 동적 시스템에서의 공정성에 어떻게 기여하는가?
• RQ3 예측 시스템에서의 공정성과 순차적 시스템에서의 윤리적 의사결정 간의 규범적 고려사항과 설계 과제에서의 주요 차이점은 무엇인가?
• RQ4 해석 가능성과 인간-중심 메커니즘은 순차적 의사결정 시스템에 어떻게 적응되어 책임감과 투명성을 향상시킬 수 있는가?
• RQ5 이해관계자 참여와 참가자 중심 설계가 윤리적이고 공정한 순차적 의사결정 시스템을 설계하는 데 어떤 역할을 할 수 있는가?

주요 결과

• 인구 특성의 평등 및 동일 기회와 같은 공정성 메트릭스는 장기적 역학을 고려하지 못하고 한 번성의 정적 성격을 지니기 때문에 일반적으로 순차적 의사결정 시스템에 부적합한 편이다.
• 보상 형상화 및 가치 정렬과 같은 윤리적 의사결정 기법은 피드백 루프와 누적 영향이 있는 시스템에서 시간에 따라 공정성을 모델링하는 데 유망한 도구를 제공한다.
• 예측 모델에 비해 순차적 시스템에서의 해석 가능성과 설명 가능성은 여전히 미흡하며, 동적 환경에서 실행 가능한 복구나 상호 검토에 관한 연구가 제한되어 있다.
• 모델 개발 과정에서 이해관계자를 배제하는 것이 일반적이지만, 전문가 및 지역 사회의 지식이 순차적 시스템의 윤리적 결과를 향상시킬 잠재력은 있다.
• 특히 자율 주행 및 헬스케어와 같은 분야에서 장기적 피해와 체계적 불공정성에 대한 표준화된 윤리적 분석이 부족한 것은 중대한 위험 요소를 야기한다.
• 서로 다른 가정, 설계 파이프라인, 구현 환경으로 인해 공정성과 윤리적 의사결정 실천의 통합이 저해되고 있으며, 이를 메워주기 위해 새로운 다학제적 프레임워크가 필요하다.