[논문 리뷰] Relating Input Concepts to Convolutional Neural Network Decisions

Ning Xie, Md Kamruzzaman Sarker외 3명|arXiv (Cornell University)|2017. 11. 21.

Explainable Artificial Intelligence (XAI)참고 문헌 24인용 수 9

한 줄 요약

이 논문은 후기 단계의 특징 맵에 걸쳐 산재한 활성화를 측정하여, 합성곱 신경망(CNNs)이 입력 개념—특히 시나리오 이미지 내 객체—를 얼마나 잘 인식하는지 정량화하는 새로운 방법을 제안한다. 이는 특정 시나리오에 고유한 개념을 인식하는 것이 분류 정확도와 정확히 관련되어 있는 반면, 많은 시나리오에 걸쳐 공통으로 나타나는('혼동을 유도하는') 개념을 인식하는 것은 부정적으로 관련되어 있음을 시사하며, 이러한 개념들이 CNN의 결정을 잘못 이끌 수 있음을 시사한다.

ABSTRACT

Many current methods to interpret convolutional neural networks (CNNs) use visualization techniques and words to highlight concepts of the input seemingly relevant to a CNN's decision. The methods hypothesize that the recognition of these concepts are instrumental in the decision a CNN reaches, but the nature of this relationship has not been well explored. To address this gap, this paper examines the quality of a concept's recognition by a CNN and the degree to which the recognitions are associated with CNN decisions. The study considers a CNN trained for scene recognition over the ADE20k dataset. It uses a novel approach to find and score the strength of minimally distributed representations of input concepts (defined by objects in scene images) across late stage feature maps. Subsequent analysis finds evidence that concept recognition impacts decision making. Strong recognition of concepts frequently-occurring in few scenes are indicative of correct decisions, but recognizing concepts common to many scenes may mislead the network.

연구 동기 및 목표

• 장면 인식 작업에서 CNN의 입력 개념 인식과 분류 결정 간의 관계를 조사하기 위해.
• 시각화 기반 해석 외에도 인식된 입력 개념이 실제로 CNN 결정에 영향을 미치는지에 대한 이해 부족을 보완하기 위해.
• 후기 합성곱 레이어에서 다중 특징 맵을 통해 분산 방식으로 개념 인식 품질을 측정하는 방법을 개발하기 위해.
• ADE20k 데이터셋을 사용하여 개념의 고유성, 인기 및 희소성의 영향을 분석하고 CNN 결정 정확도에 영향을 미치는지 분석하기 위해.
• 일부 유형의 개념(예: 고유, 혼동을 유도하는, 희소한)이 올바른 분류를 촉진하거나 저해하는지 확인하기 위해.

제안 방법

• 후기 합성곱 레이어의 다수 특징 맵에 걸친 분산된 노드의 활성화 강도를 기반으로 한 개념 인식 점수를 제안한다.
• 특정 노드를 활성화하는 입력 픽셀을 시각화하고 검증하기 위해 탈합성곱(Deconvolution)을 사용하여 인식이 실제 입력 개념과 연결되어 있음을 보장한다.
• 고유성 점수 $ U( ext{c}) $ 를 정의하여, 소수의 시나리오에만 나타나는 개념을 '고유'로 표기한다.
• 희소 개념을 제거하기 위해 각 시나리오 클래스당 충분한 비율의 이미지에 나타나는 개념만 유지하기 위해 인기 점수 $ P( ext{c}) $ 를 도입한다.
• 다양한 임계값 $ \beta $ 와 $ \beta $ 에 대해 '고유' 및 '혼동을 유도하는' 개념에 대한 평균 인식 점수와 CNN 정확도 사이의 피어슨 상관계수 $ \rho $ 를 계산한다.
• 고유 개념과 혼동을 유도하는 개념의 영향을 종합적으로 평가하기 위해 합성 점수 $ S_{\text{syn}} = \frac{S_{\text{unique}} + (1 - S_{\text{mislead}})}{2} $ 를 도입한다.

실험 결과

연구 질문

• RQ1 CNN의 특징 맵에서 입력 개념을 인식하는 정도가 올바른 장면 분류 결정과 어느 정도 관련되어 있는가?
• RQ2 고유, 혼동을 유도하는, 또는 희소한 개념의 유형은 CNN 결정 정확도에 어떻게 다른 영향을 미치는가?
• RQ3 여러 다른 장면 유형에 걸쳐 자주 나타나는 개념의 인식이 분류 성능을 부정적으로 영향을 미치는가?
• RQ4 고유 개념과 혼동을 유도하는 개념의 인식을 종합한 합성 측정치가 개별 점수보다 CNN 정확도를 더 잘 예측할 수 있는가?
• RQ5 개념 고유성 및 인기성에 대한 어떤 임계값 설정이 개념 인식과 분류 정확도 간의 상관관계를 최대화하는가?

주요 결과

• 제한된 수의 시나리오에 자주 나타나는 '고유' 개념의 인식은 CNN 정확도와 중간 정도의 양의 상관관계를 보이며 ($ \rho = 0.454, p = 0.078 $).
• 여러 다른 장면 유형에 걸쳐 공통으로 나타나는 '혼동을 유도하는' 개념의 인식은 정확도와 유의미한 부정적 상관관계를 보이며 ($ \rho = -0.528, p = 0.036 $).
• 고유 개념과 혼동을 유도하는 개념의 인식을 종합적으로 평가하는 합성 점수를 사용할 경우, 전체 상관관계가 최고 수준인 $ \rho = 0.521 $ 에 도달하였으며, 이는 임계값 $ \alpha = 0.55 $ 와 $ \beta = 0.4 $ 에서 달성되었다.
• 희소 개념(시나리오에 거의 나타나지 않는 개념)은 분류 성능을 저해하는 것으로 밝혀졌지만, 인기성 임계값 $ \beta $ 를 통한 필터링으로 그 영향이 완화되었다.
• 결과는 CNN가 분류에 대해 구분력이 없는 공통적인 시각 패턴에 과도하게 의존함으로써 오인을 당할 수 있음을 시사한다.
• 연구는 개념 인식 품질이 균일하게 유익하지 않으며, 개념 유형이 결정 결과에 상당한 영향을 미친다는 경험적 증거를 제공한다.