[논문 리뷰] No Fair Lunch: A Causal Perspective on Dataset Bias in Machine Learning for Medical Imaging

Charles Jones, Daniel C. Castro외 4명|arXiv (Cornell University)|2023. 07. 31.

Artificial Intelligence in Healthcare and EducationMedicine인용 수 3

한 줄 요약

이 논문은 의료 영상 AI의 데이터셋 편향을 진단하고 해결하기 위한 인과적 프레임워크를 제안하며, 유병률, 표현 방식, 표기의 편향이라는 세 가지 편향 메커니즘을 구분하여 각각에 맞는 보완 전략이 필요하다고 주장한다. 공정한 모델 개발을 안내하기 위해 세 단계의 인과적 추론 프레임워크를 제안하며, 현재의 방법들이 편향의 인과적 구조를 이해하지 못한 채 적용될 경우 종종 실패함을 보여준다.

ABSTRACT

As machine learning methods gain prominence within clinical decision-making, addressing fairness concerns becomes increasingly urgent. Despite considerable work dedicated to detecting and ameliorating algorithmic bias, today's methods are deficient with potentially harmful consequences. Our causal perspective sheds new light on algorithmic bias, highlighting how different sources of dataset bias may appear indistinguishable yet require substantially different mitigation strategies. We introduce three families of causal bias mechanisms stemming from disparities in prevalence, presentation, and annotation. Our causal analysis underscores how current mitigation methods tackle only a narrow and often unrealistic subset of scenarios. We provide a practical three-step framework for reasoning about fairness in medical imaging, supporting the development of safe and equitable AI prediction models.

연구 동기 및 목표

• 알고리즘 편향의 증가하는 우려를 다루기 위해, 이는 임상 결과의 불공정성을 초래할 수 있다.
• 현행 공정성 연구에서 혼동되는 경우가 많은, 데이터셋 편향의 구체적인 인과적 메커니즘—유병률, 표현 방식, 표기의 편향—을 식별하고 분류한다.
• 편향의 근본 원인이 되는 요소에 기반해 적절한 공정성 보완 전략을 선택하는 데 안내하는 원칙적인 인과적 추론 프레임워크를 개발한다.
• 현재의 편향 보완 기법이 편향의 인과적 구조를 이해하지 못한 채 적용될 경우 종종 효과가 없거나 오히려 해로울 수 있음을 강조한다.
• 데이터 수집 및 정제 과정의 투명성을 강조하고, 공정하고 균형 잡힌 AI 모델 설계에 인과적 가정을 도입할 것을 권장한다.

제안 방법

• 세 단계의 인과적 프레임워크를 제안한다: (i) 편향의 인과적 성격을 식별하고, (ii) 각 인과적 경로의 윤리적 타당성을 평가하며, (iii) 적절한 보완 전략과 지표를 선택한다.
• 감수성 특성(A), 질병 상태(Z), 영상 특징(X), 레이블(Y), 선택 메커니즘(S) 간의 관계를 모델링하기 위해 인과 다이어그램(DAGs)을 사용한다.
• 편향 메커니즘을 세 가지 유형으로 분류한다: (1) 유병률 편향(하위군 간 질병 빈도의 불균형), (2) 표현 방식 편향(질병이 하위군 간에 다르게 나타남), (3) 표기 편향(하위군 간 레이블링의 일관성 부족).
• 실험적 위험 최소화(ERM)는 표현 방식 편향에 대해서만 적절하며, 다른 메커니즘은 표현 방식 탈편향 또는 재레이블링과 같은 별도의 접근이 필요하다고 주장한다.
• 유병률 편향에는 편향 유지 지표를 사용하고, 윤리적으로 정당화될 경우 추론 시 감수성 정보를 고려할 것을 권장한다.
• 편향이 없는 데이터 수집 또는 생성의 중요성을 강조하며, 강력한 인과적 가정 하에 반사적 생성 모델을 사용해 공정한 데이터를 합성하는 방법을 제안한다.

Figure 1: Basic causal structures of medical imaging tasks. An underlying condition $Z$ influences the image $X$ and label $Y$ for each individual. Selection $S$ may be random (left) or dependent on any combination of $\{X,Y,Z\}$ (right). In all cases, we wish to learn a model from observed data to

실험 결과

연구 질문

• RQ1 의료 영상 데이터셋에서 유병률, 표현 방식, 표기의 편향이라는 서로 다른 인과적 메커니즘의 편향은 어떻게 나타나며, 왜 종종 혼동되는가?
• RQ2 현재의 편향 보완 기법이 다양한 유형의 데이터셋 편향에 대해 일반화되지 못하는 이유는 무엇이며, 그 제한성의 인과적 가정은 무엇인가?
• RQ3 의료 영상 데이터의 편향 인과적 구조에 기반해 공정성 보완 전략을 선택할 때 고려해야 할 기준은 무엇인가?
• RQ4 인과 다이어그램은 암묵적인 공정성 가정을 어떻게 명시적으로 만들고 AI 모델 개발의 투명성을 어떻게 향상시킬 수 있는가?
• RQ5 합성 데이터 생성 및 편향 제거 기법은 의료 영상에서 복합적 또는 복합적인 편향 메커니즘을 보완하는 데 어떤 역할을 할 수 있는가?

주요 결과

• 유병률 편향—하위군 간 질병 빈도의 차이—는 ERM만으로는 부족하므로, 편향 유지 지표와 하위군별 성능 모니터링이 필요로 한다.
• 표현 방식 편향—질병이 하위군 간에 다르게 나타남—은 생물학적으로 예상되며 윤리적으로 정당화될 경우 ERM로 가장 잘 해결할 수 있다.
• 표기 편향—하위군 간 일관성 없는 레이블링으로 인한 편향—는 신뢰할 수 있는 기준값이 없이 검출하거나 수정하기가 특히 어렵고, 재레이블링 또는 강력한 편향에 대한 가정이 필요할 수 있다.
• 현재의 보완 방법들은 잘못된 편향 메커니즘에 적용될 경우 종종 실패하므로, 개입 전에 인과적 진단이 필수적이다.
• 제안된 세 단계의 인과적 프레임워크는 임상적 및 윤리적 고려사항에 기반해 편향 경로를 유지할지 보완할지 체계적으로 평가할 수 있도록 한다.
• 활동적인 데이터 수집 및 반사적 생성 모델은 인과적 가정이 명확히 설정된 경우, 편향이 없는 학습 데이터를 생성하기 위해 유망하지만 아직 활용되지 않는 길을 제공한다.

Figure 2: Basic causal structure of a no-bias dataset (left). We include a 2D illustration of the no-bias observational distribution (right). Green and blue clusters represent different subgroups, with light and dark clusters representing disease and no disease, respectively. Notice that the optimal