[논문 리뷰] Interpreting and Disentangling Feature Components of Various Complexity from DNNs

Jie Ren, Mingjie Li외 2명|arXiv (Cornell University)|2020. 06. 29.

Neural Networks and Applications인용 수 8

한 줄 요약

이 논문은 각 구성요소를 계산하는 데 필요한 비선형 층의 수를 통해 복잡도를 근사화함으로써, 딥 네ural 네트워크(DNNs)의 다양한 복잡도 순서를 가진 특징 구성요소를 정의하고 측정하며 분리하는 방법을 제안한다. 이 방법은 특징 복잡도 분포와 DNN 성능 사이에 강력하고 정량적인 연관성을 드러내며, 분리된 고신뢰도, 고효율성 구성요소가 모델 정확도를 향상시키고 네트워크 압축 및 지식 증류에 대한 새로운 통찰을 제공한다.

ABSTRACT

This paper aims to define, quantify, and analyze the feature complexity that is learned by a DNN. We propose a generic definition for the feature complexity. Given the feature of a certain layer in the DNN, our method disentangles feature components of different complexity orders from the feature. We further design a set of metrics to evaluate the reliability, the effectiveness, and the significance of over-fitting of these feature components. Furthermore, we successfully discover a close relationship between the feature complexity and the performance of DNNs. As a generic mathematical tool, the feature complexity and the proposed metrics can also be used to analyze the success of network compression and knowledge distillation.

연구 동기 및 목표

• 이론적 아키텍처 한계를 넘어서 DNN이 실제로 학습하는 특징 복잡도를 공식적으로 정의하고 측정하는 것.
• 다양한 깊이의 분리망을 사용하여 중간층 특징을 서로 다른 복잡도 순서를 가진 구성요소로 분리하는 것.
• 이러한 구성요소의 신뢰성, 효율성, 과적합 중요도를 분석하여 더 깊은 해석 가능성을 확보하는 것.
• 특징 복잡도 분포와 DNN 성능 사이의 정량적 연관성을 수립하는 것.
• 네트워크 압축 및 지식 증류 응용을 통해 방법의 일반성을 검증하는 것.

제안 방법

• 특징 복잡도는 특정 특징 구성요소를 계산하는 데 필요한 최소 비선형 층 수로 정의되며, 이는 네트워크 깊이를 통해 근사된다.
• 다양한 깊이의 분리망을 학습시켜 교사 DNN의 중간 특징을 모방하며, 각 깊이의 분리망이 증가하는 복잡도 순서의 구성요소를 포착한다.
• 이 방법은 지식 증류 원리를 활용하여 얕은 분리망에서부터 깊은 분리망으로 향해 점진적으로 더 높은 복잡도의 구성요소를 추출한다.
• 신뢰성은 다양한 아키텍처와 하이퍼파라미터에서 특징 구성요소의 일관성으로 평가된다.
• 효율성은 구성요소가 작업에 얼마나 관련이 있는지로 측정되며, 손실 감소 기여도를 정량화하기 위해 셰플리 값이 사용된다.
• 과적합 중요도는 훈련 손실 감소와 검증 손실 감소에 기여도의 차이로 정량화된다.

실험 결과

연구 질문

• RQ1 DNN에서 실제 특징 복잡도는 이론적 아키텍처 용량을 넘어서 어떻게 공식적으로 정의하고 측정할 수 있는가?
• RQ2 다양한 복잡도 순서에 따라 특징 구성요소는 어떻게 분포되어 있으며, 이는 작업 난이도를 어떻게 반영하는가?
• RQ3 특징 구성요소의 신뢰성, 효율성, 과적합 중요도는 복잡도 수준에 따라 어떻게 변화하는가?
• RQ4 특징 복잡도 분포와 DNN 성능 사이의 관계는 무엇인가?
• RQ5 분리된 특징 구성요소는 DNN 정확도를 향상시킬 수 있으며, 지식 증류 및 압축과는 어떻게 관련이 있는가?

주요 결과

• 복잡도 순서에 따른 특징 구성요소 분포는 작업 난이도와 강하게 상관되며, 간단한 작업은 주로 저복잡도 특징을 생성한다.
• 분리된 고신뢰도, 고효율성 구성요소를 입력 특징으로 사용할 경우 DNN 분류 정확도가 크게 향상된다.
• 네트워크 압축은 특징 구성요소의 분포와 그 신뢰성을 유지하지만, 간단한 구성요소에서 과적합 중요도가 증가한다.
• 지식 증류는 원래 DNN보다 더 효율적인 저복잡도 구성요소와 더 신뢰성 있고 과적합이 적은 고복잡도 구성요소를 생성한다.
• 복잡도 구성요소의 8차원 특징 분포를 사용한 선형 회귀모형은 실제 정확도 격차보다 훨씬 작은 오차로 DNN 성능을 예측하여 복잡도와 성능 사이의 강한 연관성을 확인했다.