[논문 리뷰] Beneficial and Harmful Explanatory Machine Learning

Lun Ai, Stephen Muggleton외 3명|arXiv (Cornell University)|2020. 09. 09.

Explainable Artificial Intelligence (XAI)참고 문헌 57인용 수 5

한 줄 요약

이 논문은 기계 학습된 기호 이론이 이인성 게임에서 인간 학습에 유익한지 유해한지 평가하기 위해 인지 창 프레임워크를 제안한다. 이론의 복잡도와 실행 스택 요구 사항을 측정함으로써, 과도하게 복잡한 이론은 인간의 성능을 떨어뜨리고, 잘 구성된 이론은 성능을 크게 향상시킴을 보여주며, 초강력 기계 학습에서 해로운 영향과 유익한 영향을 동시에 입증한다.

ABSTRACT

Given the recent successes of Deep Learning in AI there has been increased interest in the role and need for explanations in machine learned theories. A distinct notion in this context is that of Michie's definition of Ultra-Strong Machine Learning (USML). USML is demonstrated by a measurable increase in human performance of a task following provision to the human of a symbolic machine learned theory for task performance. A recent paper demonstrates the beneficial effect of a machine learned logic theory for a classification task, yet no existing work to our knowledge has examined the potential harmfulness of machine's involvement for human comprehension during learning. This paper investigates the explanatory effects of a machine learned theory in the context of simple two person games and proposes a framework for identifying the harmfulness of machine explanations based on the Cognitive Science literature. The approach involves a cognitive window consisting of two quantifiable bounds and it is supported by empirical evidence collected from human trials. Our quantitative and qualitative results indicate that human learning aided by a symbolic machine learned theory which satisfies a cognitive window has achieved significantly higher performance than human self learning. Results also demonstrate that human learning aided by a symbolic machine learned theory that fails to satisfy this window leads to significantly worse performance than unaided human learning.

연구 동기 및 목표

• 기계 학습된 기호 이론이 기술 습득 과정에서 인간의 이해에 해로운 영향을 미칠 수 있는지 조사하기.
• 인지 과학에 기반한 인지 창 프레임워크를 개발하여 기계 설명이 해로운 영향을 미치는 조건을 특정하기.
• 기계 학습된 이론이 단순한 이인성 게임에서 인간의 샘플 외 성능에 미치는 영향을 실증적으로 검증하기.
• 이론의 복잡도와 실행 스택 요구 사항이 인간 학습 결과에 어떻게 영향을 미치는지 조사하기.
• 초강력 기계 학습(USML) 개념을 확장하여 유익한 영향뿐만 아니라 해로운 설명적 영향도 식별하기.

제안 방법

• 프레임워크는 기계 학습된 이론의 기술적 복잡도와 지식 적용을 위한 필수 실행 스택이라는 두 가지 측정 가능한 지표로 둘러싸인 인지 창을 정의한다.
• 참가자들이 기계 학습된 논리 프로그램에서 유도된 텍스트 및 시각적 설명을 통해 학습하는 방식으로, 나선형 게임의 이sovolumetric 형태인 두 개의 게임에서 실증적 인간 시험을 실시하였다.
• 기계 학습 시스템인 MIPlain은 학습 데이터에서 일阶 논리 규칙을 생성하였으며, 이를 바탕으로 참가자들에게 자연어 및 시각적 설명을 제공하였다.
• 성능는 샘플 외 분류 정확도로 측정되었으며, 기계 학습된 이론이 있는지 여부에 따라 인간 학습 성능를 비교하였다.
• 참가자의 구두 입력은 이해도와 추론 패턴을 평가하기 위해 정성적으로 분석되었다.
• 인지 창 모델은 이론이 경계 조건을 충족하는지 여부에 따라 성능를 비교하여 검증되었다.

실험 결과

연구 질문

• RQ1 기계 학습된 기호 이론이 인간 학습 성능에 해로운 영향을 미치는 조건은 무엇인가?
• RQ2 이론의 복잡도와 실행 스택 요구 사항은 기계 학습 모델의 설명 효과성에 어떻게 영향을 미치는가?
• RQ3 인지 창 프레임워크는 기계 학습된 이론이 인간 이해에 도움이 되는지 해로운지 예측할 수 있는가?
• RQ4 기계 학습된 이론은 인간의 독립적 학습에 비해 샘플 외 성능을 어느 정도 향상시키는가?
• RQ5 논리적으로 올바른데도 일부 기계 설명은 왜 인간의 성능을 떨어뜨리는가?

주요 결과

• 기계 학습된 이론이 인지 창 경계를 충족할 경우 인간의 성능이 유의미하게 향상되었으며, 이는 유익한 설명 효과를 확인한다.
• 기계 학습된 이론이 인지 창을 충족하지 못할 경우(높은 복잡도 또는 과도한 실행 스택 요구) 인간의 성능가 비보조 학습보다 유의미하게 떨어졌다.
• 이 연구는 모든 기호적 기계 학습 이론이 반드시 도움이 되는 것은 아니며, 일부는 인간 이해에 실제로 해로울 수 있음을 실증적으로 입증한다.
• 인지 창 프레임워크는 이론의 복잡도와 실행 스택 제약 조건을 바탕으로 기계 학습된 이론의 설명 품질을 성공적으로 예측하였다.
• 과도하게 복잡한 이론에서 유도된 설명을 받은 참가자들은 혼란을 느끼고 전략이 일치하지 않음을 보였으며, 이는 그들의 수동에서 유도된 논리 프로그램의 불일치로 나타났다.
• 결과적으로 설명의 품질은 논리적 정확성 외에도 인간 처리 능력과의 인지적 일치성에 의해 결정됨을 보여준다.