[논문 리뷰] CHAIN: Concept-harmonized Hierarchical Inference Interpretation of Deep Convolutional Neural Networks

Dan Wang, Xinrui Cui외 1명|arXiv (Cornell University)|2020. 02. 05.

Explainable Artificial Intelligence (XAI)참고 문헌 19인용 수 5

한 줄 요약

CHAIN는 시맨틱 수준 간에 네트워크 유닛을 시각적 개념과 정렬함으로써 깊이 학습된 합성곱 신경망을 해석하기 위한 개념 조율형 계층적 추론 프레임워크를 제안한다. 이는 고수준 의미(예: 장면)에서 저수준 특징(예: 부분)으로의 인간과 유사한 단계적 추론을 가능하게 한다. 이 방법은 이미지 분류 작업에서 정성적 및 정량적 분석을 통해 검증된 바, 인스턴스 수준과 클래스 수준에서 해석 가능한 계층적 의사결정 설명을 달성한다.

ABSTRACT

With the great success of networks, it witnesses the increasing demand for the interpretation of the internal network mechanism, especially for the net decision-making logic. To tackle the challenge, the Concept-harmonized HierArchical INference (CHAIN) is proposed to interpret the net decision-making process. For net-decisions being interpreted, the proposed method presents the CHAIN interpretation in which the net decision can be hierarchically deduced into visual concepts from high to low semantic levels. To achieve it, we propose three models sequentially, i.e., the concept harmonizing model, the hierarchical inference model, and the concept-harmonized hierarchical inference model. Firstly, in the concept harmonizing model, visual concepts from high to low semantic-levels are aligned with net-units from deep to shallow layers. Secondly, in the hierarchical inference model, the concept in a deep layer is disassembled into units in shallow layers. Finally, in the concept-harmonized hierarchical inference model, a deep-layer concept is inferred from its shallow-layer concepts. After several rounds, the concept-harmonized hierarchical inference is conducted backward from the highest semantic level to the lowest semantic level. Finally, net decision-making is explained as a form of concept-harmonized hierarchical inference, which is comparable to human decision-making. Meanwhile, the net layer structure for feature learning can be explained based on the hierarchical visual concepts. In quantitative and qualitative experiments, we demonstrate the effectiveness of CHAIN at the instance and class levels.

연구 동기 및 목표

• 깊은 CNN에서의 해석 가능한 의사결정 논리의 부족, 특히 시각 작업에 대해 해결하고자 한다.
• 시각적 개념의 계층적 구조와 CNN의 계층적 아키텍처 사이의 격차를 메우고자 한다.
• 고수준 의미에서 저수준 특징으로 향하는 인간과 유사한 계층적 추론 과정으로 네트워크 의사결정을 모델링하고자 한다.
• 시각적 개념을 활용하여 네트워크 의사결정의 인스턴스 수준 및 클래스 수준의 해석 가능성을 제공하고자 한다.
• 계층적 시각적 개념 분해를 통해 네트워크 레이어의 기능적 역할을 설명하고자 한다.

제안 방법

• 개념 조율 모델은 깊은 레이어의 유닛을 고수준 시각적 개념과 정렬하고, 浅층 유닛을 저수준 개념과 정렬함으로써 의미론적 계층을 수립한다.
• 계층적 추론 모델은 깊은 레이어의 개념을 얕은 레이어 유닛의 희박한 선형 조합으로 표현하여 하부에서 상부로 향하는 특징 분해를 가능하게 한다.
• 개념 조율형 계층적 추론 모델은 반복적인 역방향 추론을 통해 고수준 개념을 그 구성 요소인 저수준 개념에서 유도한다.
• 프레임워크는 3D-PCA 시각화와 추론 거리 측도를 사용하여 다양한 이미지 세트 간의 개념 표현을 정량적으로 비교한다.
• 이 방법은 각 이미지에 대한 인스턴스 수준 해석과 특정 클래스의 이미지 세트에 대한 클래스 수준 해석을 모두 지원한다.
• 사전 학습된 CNN 특징과 개념 주석을 활용하여 입력에서 의사결정에 이르는 구조화되고 해석 가능한 추론 경로를 수립한다.

실험 결과

연구 질문

• RQ1 장면 → 물체 → 부분과 같은 시각적 개념의 계층적 구조가 CNN의 층 구조와 일치시켜 특징 학습을 설명할 수 있는가?
• RQ2 네트워크 의사결정이 고수준 의미에서 저수준 특징으로 향하는 인간과 유사한 계층적 추론 과정으로 해석될 수 있는가?
• RQ3 인스턴스 수준과 클래스 수준에서 해석 가능한 시각적 개념을 사용하여 네트워크의 의사결정 논리가 어떻게 설명될 수 있는가?
• RQ4 이미지 세트 내부 및 세트 간의 차이가 모델의 계층적 추론 패턴에 어느 정도 반영되는가?
• RQ5 제안된 방법이 인간의 이미지 콘텐츠 인식과 일치하는 일관되고 시각적으로 해석 가능한 설명을 제공할 수 있는가?

주요 결과

• CHAIN 해석은 고수준 시각적 개념(예: 장면)에서 저수준 특징(예: 부분)으로 향하는 계층적 추론 체인으로 네트워크 의사결정을 성공적으로 표현하였으며, 인간의 추론 방식을 모방한다.
• 장면 수준에서 수영장이 있는 이미지와 보도 또는 울타리가 있는 이미지 간에 집 개념의 추론 패턴이 뚜렷하게 다름을 보이며, 주변 환경의 인지적 차이를 반영한다.
• 물체 수준에서 보도, 울타리, 수영장 등의 개념 추론은 이미지 세트 간에 명확하게 구분되며, 의미론적 내용에 민감함을 보인다.
• 집 클래스의 경우, 다양한 주변 환경에도 불구하고 물체 수준의 집 개념 추론이 이미지 세트 간에 높은 유사성을 보이며, 일관된 물체 정체성 인식을 반영한다.
• 클래스 간 분석을 통해 농장과 집 클래스 간의 장면 및 물체 수준에서의 추론 패턴에 뚜렷한 차이가 있음을 확인하였으며, 이는 메서드가 클래스 수준의 차이를 포착할 수 있음을 확인한다.
• 추론 거리와 3D-PCA 시각화를 사용한 정량적 결과는 CHAIN 해석이 인간의 시각적 인식과 일치하며, 개념 표현 간의 의미 있는 군집화 및 분리 현상을 보임을 확인한다.