[논문 리뷰] Beyond Fairness Metrics: Roadblocks and Challenges for Ethical AI in Practice

Jiahao Chen, Victor Storchan외 1명|arXiv (Cornell University)|2021. 08. 11.

Ethics and Social Impacts of AI참고 문헌 49인용 수 6

한 줄 요약

이 논문은 윤리적 AI가 실천에 이르는 데는 기술적 공정성 지표 외에도 체계적 운영, 규제, 조직적 과제들—예를 들어 일관되지 않은 규제, 상충하는 기업 인cent리브, 열악한 데이터 품질, 감사 불가능성 등—이 장애가 된다고 주장한다. 이는 기술적 공정성 지표를 넘어서 실제 적용 환경의 복잡성을 다루는 통합적이고 맥락 인식형 윤리적 AI 프레임워크의 필요성을 촉구한다.

ABSTRACT

We review practical challenges in building and deploying ethical AI at the scale of contemporary industrial and societal uses. Apart from the purely technical concerns that are the usual focus of academic research, the operational challenges of inconsistent regulatory pressures, conflicting business goals, data quality issues, development processes, systems integration practices, and the scale of deployment all conspire to create new ethical risks. Such ethical concerns arising from these practical considerations are not adequately addressed by existing research results. We argue that a holistic consideration of ethics in the development and deployment of AI systems is necessary for building ethical AI in practice, and exhort researchers to consider the full operational contexts of AI systems when assessing ethical risks.

연구 동기 및 목표

• 산업 및 사회적 응용 분야에서 윤리적 AI를 대규모로 구현하는 데 걸림돌이 되는 비기술적, 운영적 과제를 특정하고 분석하는 것.
• 규제 지연, 상충하는 기업 목표, 열악한 데이터 품질이 기존의 공정성 지표와 윤리 지침의 효과를 약화시키는 방식을 부각하는 것.
• 기계적 공정성 지표에 국한된 접근에서 벗어나 조직적, 법적, 사회적 차원을 포함하는 통합적이고 맥락 인식형 AI 윤리 접근으로의 전환을 주장하는 것.
• 윤리적 리스크 평가 시 알고리즘 설계 외에도 전체 운영 맥락을 고려해야 한다는 점을 강조하는 것.
• 감사 가능성, 투명성, 책임성 등을 포함한 AI 구현의 실질적 현실을 다루는 연구를 촉구하는 것.

제안 방법

• 산업 전반에서의 실질적 AI 구현 과제에 대한 체계적 검토를 통해 규제, 조직, 기술적 장벽에 초점을 맞춘다.
• 금융, 헬스케어, 공공서비스 분야의 산업적 AI 응용 사례 기반 분석을 통해 핵심 장애 요인을 규명한다.
• GDPR, CCPA, 공정 대출법 등 규제 프레임워크 분석 및 빠른 AI 혁신과 윤리적 책임 간의 괴리 분석.
• 내부 AI 감사 프로세스 부재, 비밀주의 문화, 리더십 층의 군중심리 등 조직 역학 분석.
• 다양한 배경의 인식이 AI 의사결정 및 윤리적 설계에 미치는 영향을 고려하며, 다문화 및 다지역 윤리적 다양성에 기반한 연구.
• 알고리즘 공정성 외에도 법적 준수, 조직적 책임성, 이해관계자 포함성을 통합하는 윤리적 AI 프레임워크 제안.

실험 결과

연구 질문

• RQ1 규제의 일관성 부족과 법률 제도의 지연은 고위험 분야에서 AI의 윤리적 구현을 어떻게 저해하는가?
• RQ2 상충하는 기업 목표와 조직 내 비밀주의는 윤리적 AI 개발 및 감사 과정을 어떻게 약화시키는가?
• RQ3 데이터 품질과 모델 개발 프로세스는 실질적 AI 시스템에서 윤리적 리스크에 얼마나 기여하는가?
• RQ4 설명 가능성 및 공정성 지표의 발전에도 불구하고, 대규모 통합 AI 시스템에서는 윤리적 문제의 탐지가 왜 어렵게 되는가?
• RQ5 지역과 인구 집단 간 다양한 윤리적 시각을 AI 설계 및 거버넌스 과정에 어떻게 실질적으로 통합할 수 있는가?

주요 결과

• GDPR와 CCPA와 같은 규제 프레임워크는 투명성과 설명 가능성 측면에서 진전을 이뤘지만, 보호 대상 집단의 정의가 모호하고 집행 과제가 있어 책임성 확보에는 부족하다.
• AI 규제는 반응적이고 진화가 느리며, 미국의 공정 대출법과 같은 주요 법률은 원칙적으로 제정된 지 수십 년이 지난 후에도 현대화 중이어서 혁신과 준수 사이에 격차가 존재한다.
• 경쟁 우위 확보, 지적 재산 보호, 책임 회피 등의 상충하는 기업 목표로 인해 비밀주의와 감사 저항이 발생해 윤리적 감시를 약화시킨다.
• 열악한 데이터 품질과 일관되지 않은 데이터 거버넌스 관행은 특히 신용 평가 및 채용과 같은 고위험 응용 분야에서 윤리적 리스크의 주요 원인이다.
• 기존 비즈니스 프로세스에 AI를 통합하는 복잡성은 윤리적 문제의 탐지 가능성을 떨어뜨리며, 시스템이 거의 완전히 자율적이지 않고 다층적 인간 감시가 포함되어 있기 때문이다.
• 산업 현장에서는 내부 AI 감사 및 윤리적 의사결정 프로세스가 거의 존재하지 않아 윤리적 표면화와 리더십 층의 군중심리 위험성이 증가한다.