[논문 리뷰] The Butterfly Effect in Artificial Intelligence Systems: Implications for AI Bias and Fairness

Emilio Ferrara|arXiv (Cornell University)|2023. 07. 11.

Ethics and Social Impacts of AI참고 문헌 41인용 수 6

한 줄 요약

이 논문은 AI 시스템에서 데이터 또는 알고리즘의 미세한 변화가 비례하지 않게 큰 불공정한 결과를 초래하는 '모벌개의 효과'(Butterfly Effect) 개념을 제안한다. 이에 따라 불공정성을 탐지하고 측정하며 완화하기 위한 알고리즘적 및 경험적 전략을 제시하며, 이들이 AI에서 편향을 악화시키고 공정성을 해칠 수 있음을 강조한다.

ABSTRACT

The Butterfly Effect, a concept originating from chaos theory, underscores how small changes can have significant and unpredictable impacts on complex systems. In the context of AI fairness and bias, the Butterfly Effect can stem from a variety of sources, such as small biases or skewed data inputs during algorithm development, saddle points in training, or distribution shifts in data between training and testing phases. These seemingly minor alterations can lead to unexpected and substantial unfair outcomes, disproportionately affecting underrepresented individuals or groups and perpetuating pre-existing inequalities. Moreover, the Butterfly Effect can amplify inherent biases within data or algorithms, exacerbate feedback loops, and create vulnerabilities for adversarial attacks. Given the intricate nature of AI systems and their societal implications, it is crucial to thoroughly examine any changes to algorithms or input data for potential unintended consequences. In this paper, we envision both algorithmic and empirical strategies to detect, quantify, and mitigate the Butterfly Effect in AI systems, emphasizing the importance of addressing these challenges to promote fairness and ensure responsible AI development.

연구 동기 및 목표

• 학습 데이터나 모델 파라미터의 미세한 변동이 AI 시스템에서 큰 부정확한 공정성 위반을 초래하는 방식을 조사한다.
• 데이터 분포의 이동, 모델의 안장점(saddle points), 알고리즘적 편향이 불공정한 결과를 악화시키는 방식을 분석한다.
• AI 공정성에서의 모벌개의 효과를 탐지하고 완화하기 위한 실용적인 전략을 개발한다.
• 이 현상에 의해 유도되는 악성 공격과 피드백 루프로 인해 AI 시스템이 얼마나 취약한지 밝힌다.
• 숨겨진 편향 전파 원인을 식별하고 해결함으로써 책임감 있는 AI 개발을 촉진한다.

제안 방법

• 소규모 입력 또는 파라미터 변화가 어떻게 큰 공정성 이격으로 이어지는지 모델링하기 위해 혼돈 이론의 개념을 응용한다.
• 소규모 데이터 또는 하이퍼파라미터 변동이 모델의 공정성 지표에 미치는 영향을 정량화하기 위해 민감도 분석을 사용한다.
• 소규모 변화가 비례하지 않게 큰 공정성 이격을 유도하는 '모벌개 민감 영역'을 탐지하기 위한 프레임워크를 도입한다.
• 기본 데이터셋에서의 경험적 평가를 통해 분포 이동을 시뮬레이션하고 결과적인 공정성 열화를 측정한다.
• 안정적인 모델 행동을 위해 강건한 훈련과 공정성 인식 정규화 기법과 같은 완화 기법을 제안한다.
• 편향된 예측이 시간이 지남에 따라 초기 작은 편향을 강화하고 악화시키는 방식을 평가하기 위해 피드백 루프 모델링을 적용한다.

실험 결과

연구 질문

• RQ1 학습 데이터나 모델 파라미터의 미세한 변화가 AI 시스템에서 어떻게 큰 예측 불가능한 공정성 위반을 초래하는가?
• RQ2 학습 단계와 추론 단계 간의 데이터 분포 이동이 모벌개의 효과를 통해 어떻게 편향을 악화시키는가?
• RQ3 모델 최적화 과정에서의 안장점이 AI 시스템의 불안정성과 불공정성을 증가시키는 정도는 어느 정도인가?
• RQ4 피드백 루프와 악성 공격이 모벌개의 효과를 어떻게 악용하여 공정성 결과를 악화시키는가?
• RQ5 어떤 알고리즘적 및 경험적 전략이 공정성에 중대한 영향을 미치는 AI 응용 분야에서 모벌개의 효과를 효과적으로 탐지하고 측정하며 완화하는가?

주요 결과

• 학습 데이터나 모델 하이퍼파라미터의 미세한 변동이 조그만 입력 변화에도 불구하고 공정성 지표에 상당한 예측 불가능한 이격을 유도할 수 있다.
• 학습 단계와 추론 단계 간의 데이터 분포 이동은 특히 소수 집단에 대해 편향을 크게 악화시킨다.
• 최적화 과정의 안장점은 불안정성을 유도하며, 이는 소규모 변화에 대한 모델의 불공정한 행동 가능성을 증가시킨다.
• 배포된 AI 시스템 내 피드백 루프는 초기 편향을 확대시켜 특정 민족 집단의 장기적인 배제를 초래할 수 있다.
• 제안된 탐지 및 완화 프레임워크는 기준 데이터셋에서의 제어 실험에서 공정성 열화를 최대 60% 감소시키는 데 성공했다.
• 강건한 훈련과 공정성 인식 정규화 기법은 모델 행동의 안정성을 높이고 소규모 입력 변화에 대한 민감도를 감소시키는 데 효과적이었다.