[논문 리뷰] Modeling Information Flow Through Deep Neural Networks

Ahmad Chaddad, Behnaz Naisiri외 4명|arXiv (Cornell University)|2017. 11. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 3

한 줄 요약

이 논문은 조건부 엔트로피 H(Y|C,F)를 계산하여 신경망 필터 응답 Y 가 클래스 C 와 필터 벤치 F 를 조건으로 할 때 정보 흐름을 모델링하는 새로운 정보 이론적 프레임워크인 조건부 신경 활성도 엔트로피(CENT)를 소개한다. 훈련된 CNN에서 유도된 CENT 특징은 최소한의 파rameter로 최신 기술 성능을 달성하며, 알츠하이머병 분류(AUC=94.6%)와 전이 학습에서 원래 CNN의 소프트맥스 출력을 뛰어넘는 성능을 보인다.

ABSTRACT

This paper proposes a principled information theoretic analysis of classification for deep neural network structures, e.g. convolutional neural networks (CNN). The output of convolutional filters is modeled as a random variable Y conditioned on the object class C and network filter bank F. The conditional entropy (CENT) H(Y |C,F) is shown in theory and experiments to be a highly compact and class-informative code, that can be computed from the filter outputs throughout an existing CNN and used to obtain higher classification results than the original CNN itself. Experiments demonstrate the effectiveness of CENT feature analysis in two separate CNN classification contexts. 1) In the classification of neurodegeneration due to Alzheimer's disease (AD) and natural aging from 3D magnetic resonance image (MRI) volumes, 3 CENT features result in an AUC=94.6% for whole-brain AD classification, the highest reported accuracy on the public OASIS dataset used and 12% higher than the softmax output of the original CNN trained for the task. 2) In the context of visual object classification from 2D photographs, transfer learning based on a small set of CENT features identified throughout an existing CNN leads to AUC values comparable to the 1000-feature softmax output of the original network when classifying previously unseen object categories. The general information theoretical analysis explains various recent CNN design successes, e.g. densely connected CNN architectures, and provides insights for future research directions in deep learning.

연구 동기 및 목표

• 딥 신경망 내 정보 흐름을 분석하기 위한 원리적인 정보 이론적 프레임워크를 개발하는 것.
• 잔차 연결 또는 밀집 연결 네트워크와 같은 히우리스틱한 CNN 설계 개선 방법 뒤에 통합된 이론적 이해의 부족을 해결하는 것.
• 기존 CNN의 표준 출력 표현 방식(예: 소프트맥스)보다 더 뛰어난 성능을 보이는, 압축된 클래스 정보 특징를 훈련된 CNN에서 식별하는 것.
• 재학습 없이 기존 CNN에서 추출한 소수의 특징을 사용하여 효과적인 전이 학습을 가능하게 하는 것.

제안 방법

• 객체 클래스 C 와 필터 벤치 F 를 조건으로 하여 컨볼루션 필터의 출력을 랜덤 변수 Y 로 모델링한다.
• 정보 내용의 척도로 조건부 엔트로피 H(Y|C,F)를 계산하고, 이를 CENT 특징으로 부른다.
• CENT 특징을 이미지 분류를 위한 압축된, 클래스 구별 능력이 뛰어난 코드로 사용하여 기존의 CNN 출력을 대체하거나 보완한다.
• 랜덤 포레스트 분류기를 CENT 특징에 적용하여 질병 분류 및 전이 학습에서의 성능을 평가한다.
• 여러 컨볼루션 계층에 걸쳐 계층별로 CENT를 계산하여 다양한 네트워크 깊이에서의 정보를 통합한다.
• 아블레이션 및 전이 학습 설정에서 원래 CNN의 소프트맥스 출력과 CENT 성능을 비교한다.

실험 결과

연구 질문

• RQ1 필터 응답의 조건부 엔트로피 H(Y|C,F)가 딥 네트워크에서 이미지 분류를 위한 매우 정보량이 많고 압축된 코드로 기능할 수 있는가?
• RQ2 기본적인 CNN 출력 방식(예: 소프트맥스)과 비교해 CENT 특징 추출이 분류 성능을 향상시키는가?
• RQ3 소수의 CENT 특징으로 기존에 보지 못한 객체 카테고리에 대해 효과적인 전이 학습을 수행할 수 있는가?
• RQ4 정보 이론적 프레임워크는 밀집 연결 네트워크와 같은 현대 CNN 아키텍처의 성공을 어떻게 설명할 수 있는가?
• RQ5 ReLU 정규화가 CENT 특징 품질과 분류 성능에 어떤 영향을 미치는가?

주요 결과

• 단 세 개의 컨볼루션 계층에서 유도된 CENT 특징이 OASIS 데이터셋의 3D MRI 스캔에서 알츠하이머병을 분류하는 데 AUC 94.6%를 기록하여 원래 CNN의 소프트맥스 출력보다 12% 높은 성능을 달성했다.
• 전이 학습에서는 사전 훈련된 CNN에서 추출한 소수의 CENT 특징이 10개의 새로운 객체 카테고리를 분류할 때 전체 1000개 특징 소프트맥스 레이어와 비교해 유사한 AUC를 기록했다.
• ReLU 정규화 이후에 CENT 특징을 계산할 경우 성능이 크게 향상되었으며, 이는 정규화된, 비이원분포 응답이 클래스 분류 능력을 향상시킨다는 것을 시사한다.
• 랜덤 포레스트 모델에 의해 선택된 CENT 특징들은 더 깊은 네트워크 계층의 필터들과 대응했으며, 이는 고수준 표현이 분류에 가장 정보량이 많다는 것을 의미한다.
• 이 프레임워크는 정보 통합이 계층 간에 이루어지는 것이 분류 성능 향상에 기여함을 보여주며, 밀집 연결 네트워크와 같은 현대 아키텍처의 성공을 설명한다.
• 결과적으로 N개의 객체 클래스를 유일하게 인코딩하기 위해 최소 log₂N 개의 CENT 특징이 필요할 수 있음을 제안하며, CNN 스케일링에 대한 이론적 근거를 제공한다.