[논문 리뷰] Interpretable Convolutional Neural Networks

Quanshi Zhang, Ying Wu외 1명|arXiv (Cornell University)|2017. 10. 02.

Explainable Artificial Intelligence (XAI)참고 문헌 35인용 수 24

한 줄 요약

이 논문은 추가적인 애너테이션 없이 고층 합성곱 레이어의 각 필터가 단일이고 의미적으로 유의미한 객체 부위를 나타내도록 유도하는 새로운 손실 함수를 도입하여 표준 합성곱 신경망(CNNs)을 해석 가능한 CNN으로 변환하는 방법을 제안한다. 이 방법은 공간적 및 카테고리별 활성화 일관성을 촉진함으로써 모델의 해석 가능성을 향상시켜 눈이나 머리와 같이 명확히 구분되는 특정 부위를 인코딩하는 필터를 생성하며, 실험 결과 경쟁적인 정확도를 유지하면서도 의미적 해석 가능성에서 뚜렷한 향상을 보였다.

ABSTRACT

This paper proposes a method to modify traditional convolutional neural networks (CNNs) into interpretable CNNs, in order to clarify knowledge representations in high conv-layers of CNNs. In an interpretable CNN, each filter in a high conv-layer represents a certain object part. We do not need any annotations of object parts or textures to supervise the learning process. Instead, the interpretable CNN automatically assigns each filter in a high conv-layer with an object part during the learning process. Our method can be applied to different types of CNNs with different structures. The clear knowledge representation in an interpretable CNN can help people understand the logics inside a CNN, i.e., based on which patterns the CNN makes the decision. Experiments showed that filters in an interpretable CNN were more semantically meaningful than those in traditional CNNs.

연구 동기 및 목표

• 고층 합성곱 레이어에서 인간이 이해할 수 있는 지식 표현을 명시적으로 가능하게 함으로써 딥 CNN의 해석 가능성을 향상시키기.
• 객체 부위나 텍스처에 대한 추가적인 애너테이션 없이도 이를 달성하기.
• 기존 모델과의 호환성을 보장하기 위해 동일한 훈련 데이터와 최상위 레이어 손실을 유지하기.
• 엔드 투 엔드 학습을 가능하게 하여 고층의 필터가 자동으로 특정 객체 부위를 전용으로 표현하도록 하기.
• 학습 과정에서 분류 성능을 크게 훼손하지 않으면서도 해석 가능성을 향상시킬 수 있는지 탐색하기.

제안 방법

• 고층 합성곱 레이어의 각 필터에 대해, 상호 카테고리 활성화 엔트로피와 공간적 활성화 엔트로피를 모두 최소화하는 새로운 손실 함수를 도입한다.
• 이 손실 함수는 각 필터가 특정 카테고리의 단일 객체 부위에만 활성화되도록 유도함으로써 의미적 특이성을 확보한다.
• 공간적 활성화 엔트로피를 최소화하여 필터가 객체의 다수의 대칭적 또는 반복적인 영역이 아닌 단일 국소 영역에만 반응하도록 보장한다.
• 상호 카테고리 활성화 엔트로피를 최소화하여 필터가 한 개의 특정 카테고리에만 반응하도록 하여 모호하거나 혼합된 카테고리 반응을 방지한다.
• 기존 네트워크 아키텍처나 손실 함수를 수정하지 않고, 엔드 투 엔드 학습 중 정규화 기법으로 적용된다.
• 이미지 해상도에서 의미를 평가하기 위해 각 필터의 수신장은 Zhou 등 [38]의 방법을 사용하여 시각화된다.

실험 결과

연구 질문

• RQ1 추가적인 감독 없이도 고층 합성곱 레이어의 각 필터가 단일이고 해석 가능한 객체 부위를 표현하도록 CNN을 훈련시킬 수 있는가?
• RQ2 상호 카테고리 및 공간적 활성화에서 엔트로피를 낮추는 것이 더 의미적으로 의미 있는 필터를 유도하는가?
• RQ3 이 방법은 아키텍처 변경 없이 다양한 CNN 아키텍처에 일반적으로 적용 가능한가?
• RQ4 해석 가능성을 향상시키는 데 있어 분류 정확도가 크게 저하되는가?
• RQ5 모델은 왼쪽 눈과 오른쪽 눈과 같이 별개의 필터로 구분된 부위를 학습할 수 있는가?

주요 결과

• 해석 가능한 CNN은 표준 CNN보다 훨씬 높은 부위 해석 가능성을 달성했으며, 머리나 눈과 같이 특정 객체 부위를 명확히 인코딩하는 필터를 보였다.
• 단일 카테고리 분류에서 표준 CNN은 해석 가능한 CNN보다 약간 높은 정확도를 보였지만, 그 차이는 미미했다.
• 다중 카테고리 분류에서 해석 가능한 CNN은 표준 CNN을 능가했으며, 더 명확한 초기 표현 덕분에 향상된 학습 역학을 보였다.
• 부위 검출의 평균 상대 위치 이격도가 해석 가능한 CNN에서 상당히 낮게 나타나 객체 부위의 공간적 국소화가 더 우수함을 시사했다.
• ILSVRC Part 및 VOC Part 데이터셋에서 해석 가능한 VGG-M는 각각 97.99%와 96.19%의 정확도를 기록했으며, 표준 VGG-M(96.73% 및 93.88%)를 능가했다.
• 히트맵 분석 결과, 해석 가능한 필터는 다른 부위를 무시하고 특정 부위만 선택적으로 모델링하는 것으로 나타나 의미적 특이성이 확인되었다.