[논문 리뷰] Visual Interpretability for Deep Learning: a Survey

Quanshi Zhang, Song‐Chun Zhu|arXiv (Cornell University)|2018. 02. 02.

Explainable Artificial Intelligence (XAI)참고 문헌 31인용 수 32

한 줄 요약

이 종합 검토는 깊이 학습, 특히 합성곱 신경망(CNN)에서 시각적 해석 가능성 향상을 위한 방법을 검토한다. 이는 중간 표현 시각화, 특징 공간 진단, 복잡한 패턴의 분리, 인간-모델 상호작용 학습을 포함한다. 이 연구는 해석 가능하고 분리된 표현이 모델 신뢰성 향상, 애너테이션 필요성 감소, 의미 수준의 디버깅 및 지식 전이를 가능하게 함을 보여준다.

ABSTRACT

This paper reviews recent studies in understanding neural-network representations and learning neural networks with interpretable/disentangled middle-layer representations. Although deep neural networks have exhibited superior performance in various tasks, the interpretability is always the Achilles' heel of deep neural networks. At present, deep neural networks obtain high discrimination power at the cost of low interpretability of their black-box representations. We believe that high model interpretability may help people to break several bottlenecks of deep learning, e.g., learning from very few annotations, learning via human-computer communications at the semantic level, and semantically debugging network representations. We focus on convolutional neural networks (CNNs), and we revisit the visualization of CNN representations, methods of diagnosing representations of pre-trained CNNs, approaches for disentangling pre-trained CNN representations, learning of CNNs with disentangled representations, and middle-to-end learning based on model interpretability. Finally, we discuss prospective trends in explainable artificial intelligence.

연구 동기 및 목표

• 높은 성능에도 불구하고 블랙박스로 작동하는 딥 네트워크, 특히 CNN에서의 해석 가능성 부족 문제를 해결한다.
• 소수의 샘플 학습, 인간-컴퓨터 상호작용, 모델 디버깅의 한계를 극복하기 위해 네트워크 표현의 의미 수준 이해를 가능하게 한다.
• 지식 전이와 약한 감독 학습을 지원하는 해석 가능하고 분리된 표현의 개발을 진전시킨다.
• 최소한의 애너테이션으로 인간 피드백이 모델 개선을 이끄는 상호작용 학습 패러다임을 탐색한다.
• 시각적 해석 가능성과 상징적 추론, 구조화된 지식 표현 간의 연결을 통해 향후 설명 가능한 AI의 기반을 마련한다.

제안 방법

• 사전 학습된 CNN의 특정 뉴런이나 필터의 활성화를 최대화하는 입력 이미지를 생성하기 위해 기울기 기반 시각화를 사용한다.
• 특징 맵을 픽셀 공간으로 되돌리는 업-컨볼루션 네트워크를 적용하여 중간 표현에 해당하는 입력 패턴을 재구성한다.
• 특징 맵의 사전 지식을 활용한 적대적 생성 네트워크를 사용하여 의미 있는 시각적 표현을 합성한다.
• 뉴런의 정확한 수용 영역을 추정하여 이론적 필터 크기 이상의 공간 민감도를 초과하는 감도를 매핑한다.
• 클래스에 종속되지 않은 특징과 주의 맵을 사용하여 주의 기반 방법을 적용해 객체 부분을 국소화하고 설명한다.
• 모델이 설명되지 않은 객체를 선택하고 인간에게 질문하여 부분 템플릿을 개선하는 활성 질문-답변 프레임워크를 구현하며, AOG(조립 기반 그래프)를 사용해 구조화된 표현을 제공한다.

실험 결과

연구 질문

• RQ1 개별 필터에 인코딩된 시각적 패턴을 드러내기 위해 중간 CNN 표현을 어떻게 시각화할 수 있는가?
• RQ2 예측 불일치나 편향이 있는 특징 공간의 결함을 진단하기 위한 방법은 무엇이 있는가? 예를 들어, 부적절한 맥락 신호에 의존하는가?
• RQ3 CNN 필터 내 복잡하고 혼합된 표현이 얼마나 분리되어서 이해 가능하고 의미 있는 구성 요소로 분리될 수 있는가?
• RQ4 의미 수준의 인간-모델 상호작용을 통해 최소한의 애너테이션으로 학습을 어떻게 가속화할 수 있는가?
• RQ5 분리된, 해석 가능한 표현이 CNN에서 효율적이고 약한 감독 학습을 위한 중간에서 끝까지의 학습을 가능하게 할 수 있는가?

주요 결과

• 기울기 기반 및 업-컨볼루션 방법은 뉴런 수준의 패턴을 효과적으로 시각화하여 개별 유닛이 감지하는 기능에 직관적인 통찰을 제공한다.
• 정확한 수용 영역 추정은 실제 뉴런 민감도가 이론적 예측보다 작음을 드러내며, 공간 주의의 해석을 향상시킨다.
• 인간 피드백을 통한 활성 질문-답변는 기준 방법 대비 1/6에서 1/3의 애너테이션으로도 유사하거나 더 높은 성능을 달성하면서 부분 국소화를 가능하게 한다.
• 인간 피드백을 활용한 미네랄 잠재 패턴의 상호작용적 정리로 의미적으로 관련 없는 구성 요소를 제거함으로써 부분 국소화 정확도가 크게 향상된다.
• AOG에 인코딩된 분리된 표현은 객체 부분의 구조화되고 상징적인 모델링을 가능하게 하여 지식 전이와 의미 수준의 디버깅을 지원한다.
• 특정 객체 부분을 나타내는 분리된 필터를 가진 해석 가능한 CNN은 더 높은 모델 투명도를 제공하며, 약한 감독 학습과 인간 지도 학습을 지원한다.