[논문 리뷰] Impact of Legal Requirements on Explainability in Machine Learning

Adrien Bibal, Michaël Lognoul외 2명|arXiv (Cornell University)|2020. 07. 10.

Explainable Artificial Intelligence (XAI)참고 문헌 9인용 수 4

한 줄 요약

이 논문은 개인정보 보호법(GDPR), 소비자 보호법, 금융 규제와 같은 유럽의 법적 프레임워크가 사적 및 공적 의사결정에서 기계학습 모델에 부과하는 설명 가능성 수준을 분석한다. 법적 요구사항을 주요 특징, 모든 특징, 특징 조합, 전체 모델의 네 단계로 매핑하여, 엄격한 법적 기준을 충족시킬 수 있는 것은 오직 해석 가능한 모델 뿐이며, 블랙박스 모델은 준수에 핵심적인 한계를 지닌다.

ABSTRACT

The requirements on explainability imposed by European laws and their implications for machine learning (ML) models are not always clear. In that perspective, our research analyzes explanation obligations imposed for private and public decision-making, and how they can be implemented by machine learning techniques.

연구 동기 및 목표

• 유럽 규제가 정의한 기계학습의 설명 가능성에 대한 법적 의무를 명확히 하기 위해.
• 사적 및 공적 의사결정 환경에서 다양한 법적 문서가 요구하는 설명 가능성의 수준을 식별하고 분류하기 위해.
• 기존 기계학습 기법을 사용해 이러한 법적 요구사항을 이행할 수 있는지 평가하기 위해.
• 공적 부문 응용에서 블랙박스 모델의 능력과 법적 기대 간 격차를 부각하기 위해.
• 기술적 설명 가능성과 법적 기준을 조율하기 위해 법학자와 AI 연구자 간의 깊은 협력이 필요하다고 촉구하기 위해.

제안 방법

• GDPR, 지침 2011/83, 규정 2019/1150, 지침 2014/65 등 유럽 법적 문서를 체계적으로 분석하여 설명 가능성 요구사항을 도출하기 위해.
• 설명 가능성의 네 단계 계층적 계층(주요 특징, 모든 특징, 특징 조합, 전체 모델)으로 법적 요구사항을 분류하기 위해.
• 해석 가능한 모델(예: 선형 모델, 결정 트리), 특징 중요도 방법(예: LIME, 순열 중요도), 희박성 기법(예: Lasso) 등 기계학습 기법과 이 계층을 매핑하기 위해.
• 블랙박스 모델(예: 신경망)이 공적 의사결정에서 법적 요구사항을 충족시키는 데 가지는 한계 평가하기 위해.
• 사법 설명 수요를 해결하기 위해 순서에서 순서로 학습 및 다중 작업 학습과 같은 기존 AI 기법을 검토하기 위해.
• 행정적 결정과 사법적 결정의 요구사항을 비교하여 사실적 근거와 법적 근거, 법적 논거에 대한 대응 필요성을 강조하기 위해.

실험 결과

연구 질문

• RQ1 유럽 법적 프레임워크는 사적 및 공적 의사결정에서 기계학습 시스템에 대해 어떤 특정한 설명 가능성 요구사항을 부과하는가?
• RQ2 다양한 법적 문서는 설명의 범위를 어떻게 정의하는가—예를 들어 특징, 조합, 또는 전체 모델에 중점을 두는가?
• RQ3 해석 가능한 기계학습 모델과 사후 설명 기법이 법적 투명성 요구사항을 어느 정도 충족시킬 수 있는가?
• RQ4 왜 블랙박스 모델은 공적 부문 응용에서 특히 엄격한 법적 기준을 충족시키지 못하는가?
• RQ5 사법 결정의 동기 및 논거 대응과 같은 법적 추론과 기계학습의 설명 가능성 간 조율에 있어 주요 과제는 무엇인가?

주요 결과

• EU 규제 간 기계학습의 설명 가능성 요구사항은 상당히 다름—GDPR, 소비자 법, 금융 규제가 각기 다른 수준의 투명성 기준을 부과함.
• 가장 약한 요구사항인 주요 특징 제공는 블랙박스 모델에서 순열 기반 중요도나 랜덤 포레스트의 out-of-bag 오차를 활용한 특징 중요도 기법으로 달성 가능함.
• 결정에 사용된 모든 특징을 공개해야 하는 요구사항은 고차원 모델에 대해 도전적이며, Lasso를 통한 희박성 강제 기법이 필요함.
• 특징 조합이 결정에 어떻게 기여하는지 설명하는 것은 로컬 설명 기법(예: LIME)을 통해 가능하지만, 복잡한 모델에 대해서는 전역적으로 해석 가능하지 않음.
• 가장 강력한 요구사항인 전체 모델 제공는 오직 본질적으로 해석 가능한 모델에서만 충족됨—블랙박스 모델(예: 딥 네트워크)은 완전히 공개되거나 이해될 수 없음.
• 특히 사법적 맥락에서의 공적 의사결정은 사실적 근거와 법적 근거, 법적 논거에 대한 대응을 요구함—현재 표준 기계학습 시스템의 능력 범위를 초월함.