[논문 리뷰] How Well do Feature Visualizations Support Causal Understanding of CNN Activations?

R. Zimmermann, Judy Borowski외 4명|arXiv (Cornell University)|2021. 06. 23.

Explainable Artificial Intelligence (XAI)인용 수 24

한 줄 요약

이 연구는 인공신경망(CNN) 유닛 활성화를 해석하는 데 널리 사용되는 합성 특성 시각화가 자연 이미지 예시보다 인간에게 더 뛰어난 인과적 이해를 제공하는지 평가한다. 참가자가 다양한 이미지 조각을 가림으로써 유닛 활성화에 미치는 영향을 예측하는 심리물리적 실험을 통해, 저자는 합성 시각화가 자연 이미지에 비해 유의미한 이점이 없음을 발견하여, 합성 시각화가 인간의 인과적 통찰을 유일하게 지원한다는 강력한 증거가 없다고 제기한다.

ABSTRACT

A precise understanding of why units in an artificial network respond to certain stimuli would constitute a big step towards explainable artificial intelligence. One widely used approach towards this goal is to visualize unit responses via activation maximization. These synthetic feature visualizations are purported to provide humans with precise information about the image features that cause a unit to be activated - an advantage over other alternatives like strongly activating natural dataset samples. If humans indeed gain causal insight from visualizations, this should enable them to predict the effect of an intervention, such as how occluding a certain patch of the image (say, a dog's head) changes a unit's activation. Here, we test this hypothesis by asking humans to decide which of two square occlusions causes a larger change to a unit's activation. Both a large-scale crowdsourced experiment and measurements with experts show that on average the extremely activating feature visualizations by Olah et al. (2017) indeed help humans on this task ($68 \\pm 4$% accuracy; baseline performance without any visualizations is $60 \\pm 3$%). However, they do not provide any substantial advantage over other visualizations (such as e.g. dataset samples), which yield similar performance ($66\\pm3$% to $67 \\pm3$% accuracy). Taken together, we propose an objective psychophysical task to quantify the benefit of unit-level interpretability methods for humans, and find no evidence that a widely-used feature visualization method provides humans with better "causal understanding" of unit activations than simple alternative visualizations.

연구 동기 및 목표

• 합성 특성 시각화가 인간이 CNN 유닛 활성화의 인과적 이해를 얻는 데 기여하는지 평가하기.
• 특성 시각화가 자연 데이터셋 샘플과 같은 대체 시각화 방법에 비해 측정 가능한 이점이 있는지 테스트하기.
• 입력 간섭 예측에서 인간의 해석 가능성 성능을 수량화하는 심리물리적 작업을 개발하고 검증하기.
• 활성화 최대화 시각화가 진정으로 유닛 반응을 이끄는 인과적 특징을 고립하는지 조사하기.
• 합성 시각화와 자연 예시 간의 효과성을 비교하여 인간이 CNN 행동에 대해 추론하는 데 어떻게 도움이 되는지 분석하기.

제안 방법

• 참가자가 두 개의 가림된 이미지 조각 중 어느 쪽이 CNN 유닛 활성화에 더 큰 변화를 일으키는지 판단하는 대규모 커스터마이저드 실험을 아마존 메카니컬 터크(MTurk)에서 수행.
• 참가자에게 도움이 되는 시각 자료로 합성 특성 시각화(Olah 등에 의한 것)와 자연 데이터셋 샘플을 사용.
• 두 개의 가림 영역을 서로 다른 이미지 위치에 배치하여 참가자가 상대적 활성화 변화를 예측하도록 설계.
• 데이터 품질을 확보하기 위해 제외 기준을 적용: 속임수 시험, 반응 변동성, 지침 및 총 작업 시간 최소 기준.
• 이전 실험실 실험 결과를 MTurk 참가자를 통해 재현하여 결과의 일관성과 일반화 가능성 확보.
• 통계적 검정력 분석을 통해 성능을 분석하고 정확도, 신뢰도 평가 및 반응 시간 보고.

실험 결과

연구 질문

• RQ1 합성 특성 시각화가 자연 이미지 예시보다 인간이 CNN 유닛 활성화에 대한 이미지 가림 효과를 예측하는 능력을 유의미하게 향상시키는가?
• RQ2 입력 간섭 결과 예측에서 특성 시각화가 자연 이미지 예시에 비해 의미 있는 성능 향상이 있는가?
• RQ3 특성 시각화에 의해 안내받을 경우 인간이 다른 해석 가능성 방법에 비해 더 나은 인과적 이해를 달성하는가?
• RQ4 비전문가 참가자와 전문가의 이미지 조작 후 활성화 변화 예측 능력은 어떻게 비교되는가?
• RQ5 신뢰도 평가와 반응 시간이 입력 간섭 예측 작업의 정확도와 얼마나 관련이 있는가?

주요 결과

• 합성 특성 시각화에 의해 안내된 참가자들은 68±4%의 정확도를 기록했으며, 시각화가 전혀 없는 기준선(60±3%)보다 유의미하게 높았다.
• 자연 데이터셋 샘플은 66±3%에서 67±3%의 정확도로 유사한 성능를 보여, 합성 시각화에 유의미한 이점이 없음을 시사한다.
• MTurk 참가자들은 자연 이미지(84±3%)에서 합성 시각화(65±3%)보다 더 높은 성능를 보였으며, 이는 합성 특성의 해석 가능성에 잠재적 한계가 있음을 시사한다.
• 합성 시각화를 사용할 경우 참가자들은 더 높은 자신감을 보였지만, 정확도는 낮았으며, 이는 자신감과 정확도 사이에 잠재적 불일치가 있음을 시사한다.
• 합성 시각화를 사용할 경우 반응 시간은 빨라졌지만, 이는 정확도와 상관관계가 없었으며, 이는 속도가 이해 향상과 직접 연결되지 않음을 시사한다.
• 제외 기준을 통해 저품질 응답을 걸러내었으며, 참가자의 85%가 모든 기준을 통과하여 커스터마이저드 환경에서 신뢰할 수 있는 데이터 수집을 확보했다.