[논문 리뷰] Deeper Interpretability of Deep Networks

Xu Tian, Jiayu Zhan외 5명|arXiv (Cornell University)|2018. 11. 19.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 16

한 줄 요약

이 논문은 3D 얼굴 생성 모델을 통해 내재적 및 외재적 변동 요인을 분리함으로써, 합성곱 신경망(CNN)의 표현을 정보 이론적 방법론으로 해석하는 새로운 접근법을 제안한다. 일반화된 상호정보량(GCMI)과 재현도 측정법을 은닉층 활성화에 적용함으로써, 네트워크가 형태 변형에 걸쳐 신원을 과도하게 일반화하지만, 질감 변화에는 매우 민감하다는 것을 밝혀냈다. 특히 중간 수준의 은닉층에서 진단에 기여하는 특징은 일부에 불과하다.

ABSTRACT

Deep Convolutional Neural Networks (CNNs) have been one of the most influential recent developments in computer vision, particularly for categorization. There is an increasing demand for explainable AI as these systems are deployed in the real world. However, understanding the information represented and processed in CNNs remains in most cases challenging. Within this paper, we explore the use of new information theoretic techniques developed in the field of neuroscience to enable novel understanding of how a CNN represents information. We trained a 10-layer ResNet architecture to identify 2,000 face identities from 26M images generated using a rigorously controlled 3D face rendering model that produced variations of intrinsic (i.e. face morphology, gender, age, expression and ethnicity) and extrinsic factors (i.e. 3D pose, illumination, scale and 2D translation). With our methodology, we demonstrate that unlike human's network overgeneralizes face identities even with extreme changes of face shape, but it is more sensitive to changes of texture. To understand the processing of information underlying these counterintuitive properties, we visualize the features of shape and texture that the network processes to identify faces. Then, we shed a light into the inner workings of the black box and reveal how hidden layers represent these features and whether the representations are invariant to pose. We hope that our methodology will provide an additional valuable tool for interpretability of CNNs.

연구 동기 및 목표

• 생성형 3D 얼굴 모델을 통해 刺자 자극의 변동을 통제함으로써 CNN의 더 깊은 해석 가능성을 확보하기 위한 프레임워크를 개발한다.
• 특히 신원 분류에 관여할 때, 깊은 네트워크가 계층적 레이어를 통해 시각 정보를 어떻게 표현하고 변환하는지 이해한다.
• 10층의 ResNet에서 최종 분류 결정에 기여하는 특징(형태 대비 질감)이 무엇인지 규명한다.
• 정보 이론적 측정법을 사용하여 은닉층에서 시점에 의존하는 표현과 시점에 불변하는 표현을 분리한다.
• 정보 흐름과 변환을 정량화함으로써 CNN이 뇌 기반 시각 처리의 해석 가능한 모델로 기능할 수 있도록 한다.

제안 방법

• 내재적(신원, 연령, 성별, 민족, 표정) 및 외재적(자세, 조명, 스케일, 이동) 요소에 대해 제어된 변동을 가진 2600만 장의 3D 렌더링 얼굴 이미지에 대해 10층의 ResNet을 훈련시켰다.
• 네트워크 반응을 탐사하기 위해 생성 차원(형태 정점 및 질감 픽셀)에 타겟된 다변량 노이즈를 적용했다.
• 은닉층 9.5에서 입력 샘플과 출력 결정과 관련된 특징을 식별하기 위해 일반화된 상호정보량(GCMI)을 사용했다.
• 은닉층 9.5의 특징 중에서 층 반응과 최종 결정 출력 양쪽 모두에 공통적으로 표현되는 특징을 분리하기 위해 재현도(Red)를 측정 방법으로 사용했다. 이는 진단에 기여하는 특징을 식별하는 데 기여한다.
• 재현도를 수식으로 공식 정의하였다: Red(S;L;R) = MI(S;L) + MI(S;R) - MI(S;R,L), 여기서 S는 입력 샘플, L은 층 반응, R은 출력 결정이다.
• 은닉층 9.5의 가장 재현도가 높은 주성분(PCA)을 얼굴 복원도에 투영하여 진단에 기여하는 특징을 시각화하였으며, 이는 비진단 특징과의 차이를 명확히 했다.

실험 결과

연구 질문

• RQ1 딥 CNN은 얼굴 신원 인식 과정에서 계층적 레이어를 통해 형태와 질감 특징을 어떻게 표현하는가?
• RQ2 CNN은 인간 인식과 비교해 볼 때 형태 변화에 걸쳐 신원을 얼마나 과도하게 일반화하는가?
• RQ3 은닉층 내 특정 특징이 실제로 최종 분류 결정에 사용되는가? 그리고 비진단 표현에서 이를 어떻게 분리할 수 있는가?
• RQ4 시점에 의존하는 표현과 시점에 불변하는 표현이 동일한 은닉층 내에서 어떻게 공존하는가?
• RQ5 정보 이론적 측정법인 재현도가 깊은 네트워크 표현에서 진단 특징과 비진단 특징을 효과적으로 분리하는 데 유용한가?

주요 결과

• 네트워크는 얼굴 형태, 성별, 연령, 표정의 극단적 형태 변형에 대해 거의 불변성을 보이며, 이는 신원에 대한 과도한 일반화를 시사한다.
• 반면에 네트워크는 질량 변화에 매우 민감하여, 신원의 변화가 미미함에도 불구하고 질량 특징이 분류 결정을 지배하고 있음을 보여준다.
• 은닉층 9.5에서 진단에 기여하는 특징은 매우 소수에 불과하며, 구체적으로 Identity One에서는 형태에 대해 PC2, 질량에 대해 PC1이, Identity Two에서는 형태에 대해 PC2, 질량에 대해 PC3가 최종 출력과 재현도가 높았다.
• 재현도 분석을 통해 은닉층 9.5의 전체 표현 특징 집합에서 진단 특징을 성공적으로 분리하였으며, 표현과 결정 과정 사이에 명확한 분리가 이루어졌음을 입증하였다.
• 본 연구는 네트워크 내 형태 특징가 대부분 시점에 의존하는 반면, 질량 특징은 더 시점에 불변하는 경향을 보였으며, 이는 인간 인식에서 관찰되지 않는 패턴이다.
• 제안된 방법론은 입력에서 은닉층, 출력으로의 정보 흐름을 정량화함으로써 더 깊은 해석 가능성을 제공하며, 딥 네트워크 내 특징 선택 및 변환을 분석할 수 있는 프레임워크를 제공한다.