[논문 리뷰] Open the Black Box Data-Driven Explanation of Black Box Decision Systems

Dino Pedreschi, Fosca Giannotti외 5명|arXiv (Cornell University)|2018. 06. 26.

Explainable Artificial Intelligence (XAI)참고 문헌 39인용 수 36

한 줄 요약

이 논문은 통계적이고 인과적 해석이 가능한 데이터 기반 논리 규칙을 사용하여 블랙박스 의사결정 시스템을 설명하기 위한 로컬-글로벌 프레임워크를 제안한다. 개별 인스턴스 주변에서 블랙박스를 로컬로 쿼리하고 이러한 설명을 일반화하여 글로벌이고 이해하기 쉬운 규칙로 만들면, 다양한 분야에서 투명하고 공정하며 감사 가능한 의사결정이 가능해진다.

ABSTRACT

Black box systems for automated decision making, often based on machine learning over (big) data, map a user's features into a class or a score without exposing the reasons why. This is problematic not only for lack of transparency, but also for possible biases hidden in the algorithms, due to human prejudices and collection artifacts hidden in the training data, which may lead to unfair or wrong decisions. We introduce the local-to-global framework for black box explanation, a novel approach with promising early results, which paves the road for a wide spectrum of future developments along three dimensions: (i) the language for expressing explanations in terms of highly expressive logic-based rules, with a statistical and causal interpretation; (ii) the inference of local explanations aimed at revealing the logic of the decision adopted for a specific instance by querying and auditing the black box in the vicinity of the target instance; (iii), the bottom-up generalization of the many local explanations into simple global ones, with algorithms that optimize the quality and comprehensibility of explanations.

연구 동기 및 목표

• 머신러닝 기반 의사결정 시스템이 블랙박스로 작동함에 따라 투명성 부족과 잠재적 편향이 발생하는 문제를 해결한다.
• 사용자, 규제 기관, 개발자와 같은 이해관계자가 자동화된 결정을 이해하고 감사 및 도전할 수 있도록 한다.
• 내부 구조에 관계없이 어떤 의사결정 모델에도 적용 가능한 실용적이고 모델에 종속되지 않는 설명 방법을 개발한다.
• GDPR의 설명 권리에 부합하기 위해 직관적이고 의미 있는 설명을 제공함으로써 규정 준수를 지원한다.
• 사용자와 기관이 자동화된 시스템에서 불공정하거나 차별적인 결과를 탐지하고 완화할 수 있도록 한다.

제안 방법

• 통계적 신뢰도와 인과적 타당성을 갖춘 표현력 있는 논리 규칙 언어를 사용하여 설명을 표현한다.
• 특정 입력 인스턴스 주변에서 블랙박스를 로컬로 쿼리하여 그 결정의 근거를 추론함으로써 로컬 설명을 수행한다.
• 배경 지식과 학습된 규칙을 융합하기 위해 규칙 변환 연산자를 적용하여 고차원의 일반화를 가능하게 한다.
• 정밀도와 단순성 최적화를 통해 하향식 추상화 방식으로 다수의 로컬 설명을 하나의 글로벌 규칙 세트로 일반화한다.
• 블랙박스의 내부 아키텍처에 접근할 필요 없이 의사결정 기록(입력-출력 쌍) 데이터를 활용해 설명 모델을 훈련하고 검증한다.
• 감시 플랫폼을 통한 참가자 기반의 개인정보 보호 기반 데이터 수집을 통합하여 설명 탐색에 필요한 증거를 누적한다.

실험 결과

연구 질문

• RQ1 블랙박스 시스템이 내린 개별 결정에 대해 정확하고 해석 가능하며 인과적으로 의미 있는 설명을 어떻게 생성할 수 있는가?
• RQ2 복잡한 의사결정 논리를 통계적으로 타당하고 인간이 이해할 수 있는 방식으로 효과적으로 표현할 수 있는 형식 언어와 규칙 구조는 무엇인가?
• RQ3 개별 인스턴스에서 유도된 로컬 설명을 어떻게 체계적으로 일관되고 고카버리지 글로벌 설명으로 일반화할 수 있는가?
• RQ4 이 프레임워크는 자동화된 의사결정 시스템에서의 공정성 감사 및 차별성 탐지에 어떻게 기여할 수 있는가?
• RQ5 모델 내부에 대한 액세스 없이도 실세계 응용에서 확장 가능하고 실용적인 설명 과정을 어떻게 구현할 수 있는가?

주요 결과

• 로컬-글로벌 프레임워크는 블랙박스의 정밀도를 유지하면서도 이해하기 쉬운 글로벌 의사결정 규칙을 탐색하는 데 기여한다.
• 규칙 변환 연산자를 통해 특성 정보와 배경 지식을 융합하여 고차원 규칙(예: 우편번호에서 배달 결과로의 전환)의 합성을 가능하게 한다.
• 이 방법은 규칙의 인과적 해석을 지원하여 소수 민족 거주 지역이 배달 자격에 영향을 주는 간접적 차별 패tern을 탐지할 수 있다.
• 프레임워크는 기반 모델에 종속되지 않아 인간이 참여하는 시스템이나 하이브리드 모델을 포함한 모든 의사결정 시스템에 적용 가능하다.
• 비전문가 사용자가 이해하고 행동할 수 있는 의미 있는 설명을 제공함으로써 GDPR의 설명 권리 요구사항을 충족시킨다.
• 참여자 기반 데이터 수집 메커니즘을 통합함으로써 설명 탐색의 확장성을 높이고 사용자와 데이터 기반 기관 간의 정보 비대칭을 줄일 수 있다.