[논문 리뷰] Teaching Meaningful Explanations

Noel Codella, Michael Hind외 6명|arXiv (Cornell University)|2018. 05. 29.

Explainable Artificial Intelligence (XAI)참고 문헌 35인용 수 10

한 줄 요약

이 논문은 인간이 유도한 설명과 함께 특징 및 레이블을 포함하는 증강된 데이터셋을 사용해 기계 학습 모델을 훈련시키는 새로운 패러다임—데이터를 통한 설명 교육(Teaching Explanations via Data, TED)—을 제안한다. 레이블과 설명을 함께 예측하도록 학습함으로써, 설명은 최종 사용자의 도메인 지식 및 인지 수준에 맞게 조정되며, 암소 피부암, 이미지 미학, 후각 인지 등 다양한 데이터셋에서 모델의 해석 가능성과 정확도를 향상시킨다.

ABSTRACT

The adoption of machine learning in high-stakes applications such as healthcare and law has lagged in part because predictions are not accompanied by explanations comprehensible to the domain user, who often holds the ultimate responsibility for decisions and outcomes. In this paper, we propose an approach to generate such explanations in which training data is augmented to include, in addition to features and labels, explanations elicited from domain users. A joint model is then learned to produce both labels and explanations from the input features. This simple idea ensures that explanations are tailored to the complexity expectations and domain knowledge of the consumer. Evaluation spans multiple modeling techniques on a game dataset, a (visual) aesthetics dataset, a chemical odor dataset and a Melanoma dataset showing that our approach is generalizable across domains and algorithms. Results demonstrate that meaningful explanations can be reliably taught to machine learning algorithms, and in some cases, also improve modeling accuracy.

연구 동기 및 목표

• 의료 및 법적 분야와 같이 고위험 기계 학습 응용 분야에서 사용자 이해 가능한 설명의 부족을 해결하기 위해.
• 설명이 최종 사용자의 도메인 지식 및 인지 복잡도에 맞게 매칭되도록 보장하기 위해.
• 의미 있고 실행 가능한 설명을 생성할 수 있도록 일반화 가능한 프레임워크를 개발하기 위해.
• 훈련 중 인간이 유도한 설명을 통합함으로써 설명 품질과 예측 성능 양측 모두 향상됨을 입증하기 위해.

제안 방법

• 특징과 레이블뿐만 아니라 인간이 유도한 설명을 추가하여 훈련 데이터를 증강함으로써 공동 학습 목표를 설정하기 위해.
• 예측 정확도와 설명 공간 내 k-최근접 이웃의 인간 관련성 양측을 최적화하는 공유 임베딩 공간을 학습하기 위해 쌍체 손실 함수를 사용하기 위해.
• 학습된 임베딩 상에서 특징 공간과 설명 공간 양쪽 모두에서 유사성을 기반으로 새로운 입력에 대한 설명을 유추하기 위해 k-최근접 이웃(k-NN) 검색을 수행하기 위해.
• 입력 특징에서 레이블과 설명을 동시에 예측하기 위해 공유 모델 아키텍처를 사용하는 다중 작업 학습 설정을 구현하기 위해.
• 공개 데이터셋(예: 미학, 냄새)의 기존 속성 주석을 대체 설명으로 활용하여 새로운 데이터 수집 없이 모델을 훈련시키기 위해.
• 예측 정확도와 검색된 이웃의 종합적 인간 관련성 간 균형을 맞추기 위해 임베딩 목표를 최적화하기 위해.

실험 결과

연구 질문

• RQ1 도메인 사용자로부터 직접 유도된 설명은 기계 학습 모델이 의미 있고 사용자 맞춤형 설명을 생성하도록 훈련하는 데 효과적으로 사용될 수 있는가?
• RQ2 훈련 중 인간이 유도한 설명을 통합함으로써 표준 지도 학습을 초월해 모델 성능이 향상되는가?
• RQ3 레이블과 설명을 함께 학습함으로써 비전문가 사용자에게 예측의 해석 가능성과 신뢰성은 어떻게 영향을 받는가?
• RQ4 제안된 방법은 이미지 미학, 화학적 냄새 인지, 의료 진단과 같은 다양한 도메인으로 일반화될 수 있는가?

주요 결과

• 모든 데이터셋에서 Pairwise E + k-NN 접근 방식이 타겟 레이블 Y에 대해 가장 높은 정확도를 기록하여, 세밀한 설명 감독이 예측 성능 향상에 기여함을 입증했다.
• 암소 피부암 데이터셋에서, 이 방법은 레이블 예측 정확도를 향상시키는 동시에 설명 예측의 평균 절대 오차(MAE)를 감소시켜 성능 향상 측면에서 이중 이득을 보였다.
• Melanoma 데이터셋에서 Pairwise Y + k-NN 접근 방식이 기준 k-NN 방법보다 Y 예측 성능에서 뛰어나, 설명 인식 유사도 기반의 유사도가 레이블 일반화를 향상시킴을 시사했다.
• 후각 데이터셋에서 쌍체 손실 기반 신경망이 다중 작업 선형 회귀보다 우수한 성능을 보여, 설명 인식 학습에서 비선형 모델링의 이점이 있음을 입증했다.
• TED의 k-NN 구현은 사용자가 검색 결과에 상호작용함으로써 설명 공간에서 유사성 신호가 자연스럽게 생성되기 때문에, 일부 경우에 추가 레이블링 노력이 필요로 하지 않았다.
• 이 방법은 네 가지 서로 다른 데이터셋에서 일관된 설명 품질 향상과 예측 정확도 향상을 보이며, 일반화 가능성의 타당성을 확인했다.