[논문 리뷰] Minimalistic Explanations: Capturing the Essence of Decisions

Martin Schuessler, Philipp Weiß|arXiv (Cornell University)|2019. 05. 08.

Explainable Artificial Intelligence (XAI)참고 문헌 11인용 수 5

한 줄 요약

이 논문은 LIME와 인간이 생성한 앵커를 사용하여 이미지 분류에 대한 최소화된 후행 설명을 조사하며, 이러한 설명이 사용자의 객체 식별 정확도를 크게 향상시킨다(75.64% 대비 18.52%)는 것을 발견했고, 인간이 생성한 설명은 79% 더 신뢰도가 높다는 것을 확인했다. 연구는 최소화된 설명이 의사결정의 핵심을 포착할 수 있음을 보여주지만, 이미지 영역 간의 맥락적 관계를 전달하는 데에는 한계가 있음을 밝혔다.

ABSTRACT

The use of complex machine learning models can make systems opaque to users. Machine learning research proposes the use of post-hoc explanations. However, it is unclear if they give users insights into otherwise uninterpretable models. One minimalistic way of explaining image classifications by a deep neural network is to show only the areas that were decisive for the assignment of a label. In a pilot study, 20 participants looked at 14 of such explanations generated either by a human or the LIME algorithm. For explanations of correct decisions, they identified the explained object with significantly higher accuracy (75.64% vs. 18.52%). We argue that this shows that explanations can be very minimalistic while retaining the essence of a decision, but the decision-making contexts that can be conveyed in this manner is limited. Finally, we found that explanations are unique to the explainer and human-generated explanations were assigned 79% higher trust ratings. As a starting point for further studies, this work shares our first insights into quality criteria of post-hoc explanations.

연구 동기 및 목표

• 최소화된 후행 설명이 이미지 분류의 의사결정 핵심을 효과적으로 전달할 수 있는지 평가하는 것.
• 사용자 정확도와 신뢰도 측면에서 인간이 생성한 설명과 알고리즘적(즉, LIME) 설명을 비교하는 것.
• 사용자 이해도에 영향을 주는 설명의 고유성과 인간 직관과의 일치성 역할을 조사하는 것.
• 사용자 인지 및 인지 과정에 기반한 최소화된 설명의 품질 기준을 규명하는 것.
• 현재 설명 방법이 관계적 또는 맥락적 의사결정 요소를 포착하는 데에 한계가 있는지 탐색하는 것.

제안 방법

• 참가자들은 시계와 botte opener에 대해 인간이 생성한 앵커 또는 LIME가 생성한 앵커를 포함한 14개의 이미지 설명을 디지털 화면에서 보여받았다.
• 인간은 레이블링에 결정적인 영역을 지정하여 앵커를 생성했으며(예: '시계' 또는 '열쇠'), LIME는 특성 중요도 기반으로 시각화 지도를 계산했다.
• 앵커는 인쇄되어 잘라지고 표준화된 시각적 표현을 위해 부드럽게 처리되어, 인지적 노이즈를 최소화했다.
• 참가자들은 설명만으로 레이블된 객체를 식별하는 인식 작업을 수행했다.
• 신뢰도는 5점 리커트 척도로 측정되었으며, 높은 점수일수록 설명에 대한 자신감이 높다는 것을 의미했다.
• 예비 연구 설계는 편의 표집을 사용하여 20명의 참가자를 포함했으며, 설명의 효과성에 대한 정성적 및 정량적 평가에 집중했다.

실험 결과

연구 질문

• RQ1 최소화된 후행 설명이 객체 식별 정확도를 유의미하게 향상시킬 수 있는가?
• RQ2 인간이 생성한 설명의 신뢰도는 알고리즘적으로 생성된 설명보다 어떻게 다른가?
• RQ3 설명이 인간의 직관과 인지적 기대에 얼마나 잘 부합하는가?
• RQ4 설명은 그 출처(인간 대 알고리즘)에 고유하게 특화되어 있으며, 이는 사용자 인식에 어떤 영향을 미치는가?
• RQ5 설명은 레이블이 부여된 이유뿐만 아니라 다른 레이블이 선택되지 않은 이유도 전달할 수 있는가?

주요 결과

• 인간이 생성한 설명을 보여줄 경우 참가자들이 정확한 객체를 식별한 비율은 75.64%였고, LIME가 생성한 설명의 경우 뿐만 아니라 18.52%에 그쳤다.
• 인간이 생성한 설명은 5점 척도에서 평균 3.89점으로 평가되어, LIME 설명의 평균 2.17점보다 79% 더 높은 신뢰도를 기록했다. 이는 더 높은 신뢰성 인식을 의미한다.
• 참가자들은 인간과 알고리즘 앵커를 쉽게 구별할 수 있었으며, 설명이 출처에 따라 고유하게 인식되었다.
• 참가자들은 인간 설명이 전체적인 형태와 영역 간의 공간적 공존을 중심으로 한다고 보고했고, LIME는 하위 영역 패턴에 더 초점을 맞춘다고 느꼈다.
• 연구 결과, 앵커는 의사결정의 몇 가지 이유만 전달할 수 있어, 이미지 영역 간의 복잡한 관계를 표현하는 데에 한계가 있음을 확인했다.
• 참가자들은 설명이 직관과 일치하기를 기대했으며, 설명이 겹치거나 유사할 경우 놀라움을 보였다. 이는 독특하고 맥락이 풍부한 설명을 기대하는 인지적 기대가 있음을 시사한다.