[논문 리뷰] On the Current and Emerging Challenges of Developing Fair and Ethical AI Solutions in Financial Services

Eren Kurshan, Jiahao Chen외 2명|arXiv (Cornell University)|2021. 11. 02.

Ethics and Social Impacts of AI참고 문헌 101인용 수 22

한 줄 요약

이 논문은 금융 서비스 분야에서 공정하고 윤리적인 AI 개발을 저해하는 체계적, 실무적, 조직적 과제를 규명하고 분석하며, 고위 윤리 원칙과 실제 구현 간 격리된 격차를 강조한다. 설계 복잡성, 도구 부족, 제도적 장벽을 산업 전반의 협업, 규제 프레임워크, 융합된 윤리적 설계를 통해 해결할 필요가 있음을 제안한다. 이는 신뢰할 수 있는 AI 구현을 위해 필수적이다.

ABSTRACT

Artificial intelligence (AI) continues to find more numerous and more critical applications in the financial services industry, giving rise to fair and ethical AI as an industry-wide objective. While many ethical principles and guidelines have been published in recent years, they fall short of addressing the serious challenges that model developers face when building ethical AI solutions. We survey the practical and overarching issues surrounding model development, from design and implementation complexities, to the shortage of tools, and the lack of organizational constructs. We show how practical considerations reveal the gaps between high-level principles and concrete, deployed AI applications, with the aim of starting industry-wide conversations toward solution approaches.

연구 동기 및 목표

• 금융 서비스 분야에서 공정하고 윤리적인 AI를 개발하는 데 있어 실무적이고 조직적인 과제를 규명하고 체계화하는 것.
• 금융 기관에서 고위 윤리 원칙과 현장 구현 간 격리를 드러내는 것.
• 윤리적 이상과 구현된 AI 시스템 간 격차를 줄이기 위해 산업 전반의 협업, 규제 프레임워크, 제도적 지원을 촉구하는 것.
• 공정성과 설명 가능성 외에도 모든 AI 응용 분야에 윤리적 설계 통합의 필요성을 강조하는 것.

제안 방법

• 산업 보고서, 규제 결과, 기술 문헌을 바탕으로 금융 서비스 분야의 현재 AI 윤리 과제에 대한 종합적 검토를 수행한다.
• 과제를 개념적, 기술적, 조직적, 신규 위험 영역으로 분류한다.
• FTC, CFPB 및 산업 자료에서 유래한 실제 사례를 분석하여 AI 편향, 데이터 오용, 모델 취약성 문제를 다룬다.
• 보상 메커니즘, 피드백 루프, 악성 공격이 AI 시스템의 윤리적 행동을 어떻게 형성하는지 분석한다.
• 소셜 미디어, 생체 정보, 디지털 흔적과 같은 대체 데이터 원천의 윤리적 위험을 평가한다.
• 조직 구조, 표준, 도구, 규제 일치를 기반으로 한 윤리적 AI 개발 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 금융 기관이 공정하고 윤리적인 AI를 구현하는 데 방해가 되는 주요 체계적 및 실무적 장애 요인은 무엇인가?
• RQ2 조직 구조와 도구 부족이 모델 개발 과정에서 윤리적 AI 원칙의 구현을 어떻게 저해하는가?
• RQ3 악성 공격 및 대체 데이터 사용과 같은 신규 위험 요소가 금융 분야의 윤리적 AI를 어떻게 위협하는가?
• RQ4 공정성과 설명 가능성에 집중된 현재의 AI 윤리 접근 방식이 금융 응용 분야에서 신뢰할 수 있는 AI를 확보하는 데 부족한 이유는 무엇인가?
• RQ5 산업, 규제 기관, 학계는 어떻게 협력하여 윤리 지침과 실제 AI 구현 간 격차를 메울 수 있는가?

주요 결과

• 50퍼센트 이상의 금융 기업이 AI 윤리를 주요 우려 사항으로 보고 있으나, 윤리적 문제에 대비된 기업은 1/3에 불과하여 구현 격차가 심각하다고 나타났다.
• 금융 분야의 AI 시스템은 신용 한도 부여 시 성별 차별과 대출 모델에서 인종 편향을 포함한 편향된 결과를 보여왔다.
• 소셜 미디어, 생체 정보, 디지털 흔적과 같은 대체 데이터 원천은 신용 평가에 흔히 사용되지만, 개인정보 침해와 간접적 차별의 고위험을 지닌다.
• 모델 개발 팀은 표준화된 도구, 방법론, 조직적 지원이 부족하여 윤리적 AI를 효과적으로 구현할 능력이 제한되어 있다.
• AI 시스템의 보상 및 피드백 메커니즘은 체계 수준에서 신중하게 설계되지 않으면 악성 행동을 부추길 수 있다.
• 악성 공격 및 데이터 브로커 오용과 같은 새로운 위협 요소는 금융 AI 시스템의 보안과 윤리적 정합성에 심각한 위험을 초래한다.