[논문 리뷰] How Useful Are the Machine-Generated Interpretations to General Users? A Human Evaluation on Guessing the Incorrectly Predicted Labels

Hua Shen, Ting-Hao Huang|arXiv (Cornell University)|2020. 08. 26.

Explainable Artificial Intelligence (XAI)참고 문헌 16인용 수 4

한 줄 요약

이 연구는 기계로 생성된 시각적 해석(예: 정렬도)이 일반 사용자가 딥 뉴럴 네트워크가 잘못 분류한 이미지의 이유를 이해하는 데 도움이 되는지 평가한다. ImageNet의 200幅 이미지에 대한 인과적 실험을 통해, 해석이 인간의 잘못된 모델 예측 추측 정확도를 약 10% 감소시킨다는 것을 발견하여, 해석이 오류를 명확히 하는 대신 오도할 수 있음을 시사한다.

ABSTRACT

Explaining to users why automated systems make certain mistakes is important and challenging. Researchers have proposed ways to automatically produce interpretations for deep neural network models. However, it is unclear how useful these interpretations are in helping users figure out why they are getting an error. If an interpretation effectively explains to users how the underlying deep neural network model works, people who were presented with the interpretation should be better at predicting the model's outputs than those who were not. This paper presents an investigation on whether or not showing machine-generated visual interpretations helps users understand the incorrectly predicted labels produced by image classifiers. We showed the images and the correct labels to 150 online crowd workers and asked them to select the incorrectly predicted labels with or without showing them the machine-generated visual interpretations. The results demonstrated that displaying the visual interpretations did not increase, but rather decreased, the average guessing accuracy by roughly 10%.

연구 동기 및 목표

• 기계로 생성된 시각적 해석이 일반 사용자가 이미지 분류에서 딥 뉴럴 네트워크 오류를 이해하는 데 도움이 되는지 평가하기.
• 특히 잘못된 예측을 내린 이유를 사용자가 파악하는 데 해석이 도움이 되는지 조사하기.
• 후행 해석(예: 정렬도 포함)이 비전문가 사용자가 모델 실패를 이해하는 데 얼마나 효과적인지 평가하기.
• 해석이 인간의 오류 추론을 돕는 데 유용하거나 해로운 조건을 규명하기.

제안 방법

• 150명의 커뮤니티 작업자들을 활용해 Amazon Mechanical Turk에서 두 개의 통제 실험을 실시하여 인간이 잘못 예측된 레이블을 추측하는 성능을 평가했다.
• 각 작업자에게는 이미지와 정답 레이블을 제시하였으며, 모델이 오류를 범했다고 알리고, 기계로 생성된 정렬도 해석이 있거나 없음을 조건으로 제공했다.
• 각 이미지가 '해석이 있는'([Int]) 및 '해석이 없는'([No-Int]) 조건 모두에서 제시되는 내부 설계를 통해 이미지 변동성을 통제했다.
• 총 2,000건의 제출을 확보(각 조건별 1,000건), [Int] 조건에 42명, [No-Int] 조건에 63명의 작업자로 구성되었으며, 두 조건 간에 겹침이 없도록 했다.
• 다섯 개의 선택지 중에서 정답인 잘못된 레이블을 선택하는 데 인간의 정확도를 측정하여 해석의 영향을 평가했다.
• 해석이 있는 조건과 없는 조건 간의 추측 정확도 차이에 대한 통계적 유의성을 평가하기 위해 대응 t-검정을 수행했다.

실험 결과

연구 질문

• RQ1 기계로 생성된 시각적 해석을 제시함으로써 인간 사용자가 이미지의 잘못 예측된 레이블을 추측하는 능력이 향상되는가?
• RQ2 특정 유형의 오류 분류에서 해석이 더 효과적이거나 덜 효과적인가?
• RQ3 해석의 존재가 인간의 추측 정확도에 통계적으로 유의미한 영향을 미치는가?
• RQ4 해석이 사용자가 모델 오류를 이해하는 데 방해가 되는 조건은 어떤가?

주요 결과

• 해석 조건([Int])에서 평균 인간 추측 정확도는 0.63이었고, 해석 없음 조건([No-Int])에서는 0.73였으며, 해석이 제시된 경우 10% 감소한 것으로 통계적으로 유의미했다(p < 0.01).
• C3 카테고리(유사한 외관의 물체)에서는 정확도가 해석 없음 시 0.84에서 해석 유무 시 0.66으로 떨어져, 해석이 성능을 악화시켰음을 보여주었다.
• C4 카테고리(배경 또는 환경 혼동으로 인한 오류)에서는 정확도가 해석 없음 시 0.59에서 해석 유무 시 0.41로 감소하여, 해석이 유의미한 부정적 영향을 미쳤음을 시사했다.
• 반면 C1 및 C2 카테고리에서는 해석이 정확도를 약간 향상시켰다(C1: 0.57 vs. 0.52; C2: 0.74 vs. 0.71), 그러나 유의미한 차이는 없었다.
• 전반적인 결과는 시각적 해석이 인간의 모델 오류 추론 성능을 향상시키지 못하고 오히려 떨어뜨렸음을 시사한다.
• 연구 결과는 해석이 특히 시각적 유사성 또는 배경의 비의도적 상관관계가 있는 경우 사용자를 오도할 수 있음을 시사한다.