[논문 리뷰] A psychophysics approach for quantitative comparison of interpretable computer vision models

Felix Bießmann, Dionysius Irza Refiano|arXiv (Cornell University)|2019. 11. 24.

Explainable Artificial Intelligence (XAI)참고 문헌 30인용 수 4

한 줄 요약

이 논문은 인간의 이미지 애너테이션 작업 성능을 측정함으로써 심리물리학 기반 접근법을 제안하여 해석 가능한 컴퓨터 비전 모델을 정량적으로 평가한다. 인간을 포함한 평가 방식은 기계 전용 지표와는 달리 인간의 인지와 더 잘 관련된 명확하고 더 대표적인 해석 가능성 방법 순위를 도출함을 보여주며, 기계 전용 지표는 종종 인간의 인지와 상관관계가 없고 모델의 유용성을 잘못 표현할 수 있음을 시사한다.

ABSTRACT

The field of transparent Machine Learning (ML) has contributed many novel methods aiming at better interpretability for computer vision and ML models in general. But how useful the explanations provided by transparent ML methods are for humans remains difficult to assess. Most studies evaluate interpretability in qualitative comparisons, they use experimental paradigms that do not allow for direct comparisons amongst methods or they report only offline experiments with no humans in the loop. While there are clear advantages of evaluations with no humans in the loop, such as scalability, reproducibility and less algorithmic bias than with humans in the loop, these metrics are limited in their usefulness if we do not understand how they relate to other metrics that take human cognition into account. Here we investigate the quality of interpretable computer vision algorithms using techniques from psychophysics. In crowdsourced annotation tasks we study the impact of different interpretability approaches on annotation accuracy and task time. In order to relate these findings to quality measures for interpretability without humans in the loop we compare quality metrics with and without humans in the loop. Our results demonstrate that psychophysical experiments allow for robust quality assessment of transparency in machine learning. Interestingly the quality metrics computed without humans in the loop did not provide a consistent ranking of interpretability methods nor were they representative for how useful an explanation was for humans. These findings highlight the potential of methods from classical psychophysics for modern machine learning applications. We hope that our results provide convincing arguments for evaluating interpretability in its natural habitat, human-ML interaction, if the goal is to obtain an authentic assessment of interpretability.

연구 동기 및 목표

• 심리물리학적 방법을 활용하여 해석 가능한 컴퓨터 비전 모델에 대한 정량적이고 인간 중심의 평가 프레임워크를 개발하기.
• 다양한 방법 간의 해석 가능성 품질 평가에 있어 표준화되고 비교 가능한 지표의 부족을 해결하기.
• 기계 기반의 인간 미포함 평가(NHIL) 지표가 인간이 인식하는 해석 가능성과 실제로 일치하는지 조사하기.
• 해석 가능성 방법이 인간의 애너테이션 정확도, 작업 시간, 알고리즘 편향에 미치는 영향을 평가하기.
• 심리물리적 실험을 통해 인간-ML 상호작용에서의 해석 가능성에 대해 강력하고 진정성 있는 평가가 가능함을 검증하기.

제안 방법

• 다양한 모델 설명을 사용하여 인간 애너테이터가 설명 유무에 따라 이미지 애너테이션 작업을 수행하는 커스터마이징된 심리물리적 실험을 실시함.
• Grad-CAM, 가이드드 백프로파게이션 등 다양한 해석 가능성 방법에서 유도된 시각적 설명인 샐런시 맵을 사용함.
• 다른 설명 조건 하에서의 애너테이션 정확도와 작업 시간을 측정함으로써 인간 성능을 평가함.
• 인간 포함 평가(HIL) 지표와 L2 거리, AUC, 재결합 유사도와 같은 인간 미포함 평가(NHIL) 지표를 비교함.
• 모델이 잘못 예측했을 때 인간과 모델 예측 간의 겹침을 측정하여 알고리즘 편향을 분석함.
• 표준화된 심리물리적 실험 설계를 적용하여 다양한 방법 간의 재현 가능성과 비교 가능성 확보함.

실험 결과

연구 질문

• RQ1 통제된 심리물리적 실험에서 다양한 해석 가능성 방법은 인간의 애너테이션 정확도와 작업 시간에 어떤 영향을 미치는가?
• RQ2 L2, AUC, 재결합 유사도 등 NHIL 지표가 HIL 성능 지표(정확도, 시간)와 어느 정도 상관관계가 있는가?
• RQ3 NHIL 지표는 인간 평가와 비교해 볼 때 해석 가능성 방법의 일관되고 대표적인 순위를 제공하는가?
• RQ4 해설 품질이 알고리즘 편향에 어떤 영향을 미치며, 인간이 잘못된 모델 예측을 비판 없이 따라하는가?
• RQ5 심리물리적 실험은 인간-ML 상호작용에서의 해석 가능성 평가를 위한 신뢰할 수 있고 표준화된 벤치마크로 기능할 수 있는가?

주요 결과

• 인간 포함 평가에서 해석 가능성 방법의 명확한 순위가 드러났으며, 마스크 크기가 6%에서 19% 범위에서 가이드드 백프로파게이션 방법이 가장 높은 애너테이션 정확도를 보였다.
• L2 거리, AUC, 재결합 유사도와 같은 NHIL 지표는 다양한 임계값에서 해석 가능성 방법의 순위를 일관되게 도출하지 못함.
• NHIL 지표와 HIL 성능 간에 유의미한 상관관계가 없었으며, 이는 기계 기반 지표가 인간이 인식하는 해석 가능성과 신뢰할 수 없이 일치하지 않음을 시사함.
• 가장 인간의 정확도에 기여한 가이드드 백프로파게이션 방법은 동시에 가장 높은 수준의 알고리즘 편향을 유도했으며, 애너테이터들이 모델의 잘못된 예측을 더 자주 반복함.
• 심리물리적 실험은 해석 가능성 품질에 대해 강력하고 안정적이며 해석 가능한 순위를 제공하여, 평가의 골드 스탠다드로서의 가치를 입증함.
• 본 연구는 NHIL 지표가 인간 중심의 해석 가능성과 대표성을 갖지 못하며, 모델의 투명성 평가에 유일한 근거로 사용되어서는 안 된다고 결론 내림.