[논문 리뷰] Embedded Encoder-Decoder in Convolutional Networks Towards Explainable AI

Amirhossein Tavanaei|arXiv (Cornell University)|2020. 06. 19.

Explainable Artificial Intelligence (XAI)인용 수 12

한 줄 요약

이 논문은 기존 CNN 내부에 인코더-디코더 구조를 통합하여 후처리 또는 로컬라이제이션 레이블 없이 클래스별로 해석 가능한 히트맵을 생성하는 엔드 투 엔드 설명 가능한 CNN인 XCNN을 제안한다. 이 모델은 CIFAR-10, Tiny ImageNet, MNIST에서 최신 기술 대비 뛰어난 시각적 해석 가능성 성능를 달성하며, 정확도 저하를 최소화하면서도 세밀하고 클래스 구분력 있는 활성화 지도를 생성한다.

ABSTRACT

Understanding intermediate layers of a deep learning model and discovering the driving features of stimuli have attracted much interest, recently. Explainable artificial intelligence (XAI) provides a new way to open an AI black box and makes a transparent and interpretable decision. This paper proposes a new explainable convolutional neural network (XCNN) which represents important and driving visual features of stimuli in an end-to-end model architecture. This network employs encoder-decoder neural networks in a CNN architecture to represent regions of interest in an image based on its category. The proposed model is trained without localization labels and generates a heat-map as part of the network architecture without extra post-processing steps. The experimental results on the CIFAR-10, Tiny ImageNet, and MNIST datasets showed the success of our algorithm (XCNN) to make CNNs explainable. Based on visual assessment, the proposed model outperforms the current algorithms in class-specific feature representation and interpretable heatmap generation while providing a simple and flexible network architecture. The initial success of this approach warrants further study to enhance weakly supervised localization and semantic segmentation in explainable frameworks.

연구 동기 및 목표

• 경계 상자 또는 세그멘테이션 애너테이션 없이도 주요 시각적 특징을 드러내는 고성능의 해석 가능한 CNN을 개발하는 것.
• 단일 아키텍처 내에서 후처리 단계 없이 엔드 투 엔드로 클래스별 사전 지도를 생성하는 것.
• 정확한 주의 기반 특징 지도를 제공함으로써 약한 감독 기반 로컬라이제이션 및 세그멘테이션 성능을 향상시키는 것.
• 내재된 히트맵 생성을 통해 모델의 투명성을 크게 향상시키면서도 높은 분류 정확도를 유지하는 것.
• 기존의 어떤 CNN 분류기에도 쉽게 통합할 수 있는 유연하고 모듈식 아키텍처를 제공하는 것.

제안 방법

• XCNN 아키텍처는 표준 CNN 분류기(예: VGG-16)와 경량 인코더-디코더 네트워크를 생성기 구성요소로 통합한다.
• 생성기는 분류기의 최종 합성곱 레이어에서의 주요 특징을 재구성함으로써 클래스별 히트맵을 생성한다.
• 분류기와 함께 표준 크로스 엔트로피 손실을 사용하여 인코더-디코더를 동시에 훈련함으로써 엔드 투 엔드 최적화를 가능하게 한다.
• 히트맵 생성 과정은 완전히 미분 가능하며, 훈련 후 기울기 역전파 또는 추가 추론 단계가 필요하지 않다.
• 외부 주의 모듈이나 주의 기반 손실 함수를 사용하지 않으며, 대신 자동코드 구조를 통해 관련 특징을 자동으로 국소화한다.
• 생성기의 출력은 예측된 클래스에 해당하는 관심 영역을 강조하는 단일 채널 히트맵이다.

실험 결과

연구 질문

• RQ1 CNN 내부에 통합된 인코더-디코더가 로컬라이제이션 애너테이션 없이도 후처리 없이 고품질의 클래스별 사전 지도를 생성할 수 있는가?
• RQ2 기존의 설명 가능성 기법들과 비교했을 때 XCNN 아키텍처는 시각적 해석 가능성과 특징 국소화 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 생성기 구성요소의 통합이 기본 CNN의 분류 정확도에 어느 정도 영향을 미치는가?
• RQ4 생성된 히트맵은 최소한의 추가 처리로 약한 감독 기반 로컬라이제이션 및 세그멘테이션에 활용될 수 있는가?
• RQ5 MNIST, CIFAR-10, Tiny ImageNet와 같은 다양한 데이터셋에서 XCNN의 특징 지도 명확도와 물체 국소화 성능은 어떻게 평가되는가?

주요 결과

• XCNN는 PatternAttribute, deep Taylor 분해, Grad-CAM 등의 최신 기술과 비교해도 복잡한 시나리오에서 특히 분산 요소가 있는 환경에서도 뛰어난 시각적 품질의 클래스별 사전 지도를 생성한다.
• CIFAR-10에서 XCNN는 원본 VGG-16의 검증 정확도와 2.80% 이내로 유지되며, 설명 가능성 구성요소가 추가됨에도 불구하고 성능 저하가 최소한이었다.
• Tiny ImageNet에서 XCNN의 검증 정확도는 원본 VGG-16와 2.77% 이내로 유지되어 더 큰 크기와 복잡도를 가진 데이터셋에서도 안정성을 입증했다.
• 타겟 물체 픽셀을 강조하는 데서 XCNN의 히트맵이 다른 방법들보다 뛰어나며, 비슷한 비타겟 물체가 존재하는 경우에도 성능이 뛰어나다(예: 맥주 병 옆에 있는 전화기).
• XCNN가 생성한 히트맵을 임계값 처리하면 물체 로컬라이제이션 작업에서 바운딩 박스를 성공적으로 도출할 수 있었으며, 이는 약한 감독 기반 세그멘테이션에 잠재적 응용 가능성을 시사한다.
• 생성기 후에 1×1 컨볼루션을 추가하면 CIFAR-10에서 검증 정확도가 약 2% 향상되었지만, 히트맵 품질은 악화되어 정확도와 해석 가능성 사이의 상충 관계를 확인했다.