[논문 리뷰] Knowledge Consistency between Neural Networks and Beyond

Ruofan Liang, Tianlin Li외 3명|arXiv (Cornell University)|2019. 08. 05.

Adversarial Robustness in Machine Learning참고 문헌 43인용 수 19

한 줄 요약

이 논문은 사전에 훈련된 딥 네ural 네트워크의 중간 레이어 간 지식 일관성을 분리하고 측정하는 작업에 종속되지 않는 방법을 제안한다. 일관성 있는 특징은 모델 간 재구성 가능한 특징으로 정의된다. 이 방법은 일관성 있는 구성 요소가 더 신뢰할 수 있고, 이를 활용해 모델을 개선함으로써 성능을 햖थ하고 지식 증류 및 네트워크 압축 기법을 측정 가능한 특징 신뢰도와 지식 유지도 향상으로 설명할 수 있음을 드러낸다.

ABSTRACT

This paper aims to analyze knowledge consistency between pre-trained deep neural networks. We propose a generic definition for knowledge consistency between neural networks at different fuzziness levels. A task-agnostic method is designed to disentangle feature components, which represent the consistent knowledge, from raw intermediate-layer features of each neural network. As a generic tool, our method can be broadly used for different applications. In preliminary experiments, we have used knowledge consistency as a tool to diagnose representations of neural networks. Knowledge consistency provides new insights to explain the success of existing deep-learning techniques, such as knowledge distillation and network compression. More crucially, knowledge consistency can also be used to refine pre-trained networks and boost performance.

연구 동기 및 목표

• 중간 레이어 표현의 일반 진단 도구로 딥 네럴 네트워크 간 지식 일관성을 정의하기 위해.
• 테스트 정확도를 초월해 DNN의 특징 신뢰도를 진단하기 위한 수학적 도구의 부족을 해결하기 위해.
• 작업에 특화된 애너테이션 없이도 일관성 있는 특징 구성 요소와 일관성이 없는 특징 구성 요소를 분리하는 방법을 개발하기 위해.
• 일관성 있는 지식 구성 요소를 사용해 사전 훈련된 네트워크를 개선함으로써 성능 향상을 가능하게 하기 위해.
• 지식 증류 및 네트워크 압축과 같은 기존 딥 러닝 기법의 성공을 지식 일관성으로 설명하기 위해.

제안 방법

• 다양한 흐림 정도 수준에서 두 DNN 간 지식 일관성의 일반 정의를 제안하며, 일관성 있는 특징은 모델 간 재구성 가능한 특징으로 정의된다.
• 중간 레이어 특징을 일관성 있는 구성 요소(공유 지식)와 일관성이 없는 구성 요소(노이즈 또는 작업 특화 아티팩트)로 분해하는 분리 프레임워크를 도입한다.
• 다양한 수준의 흐림 정도를 근사하기 위해 특징 재구성 중 비선형 변환을 사용함으로써 다중 순서의 일관성 분석을 가능하게 한다.
• 재구성 손실을 사용해 한 네트워크의 특징을 다른 네트워크의 일관성 있는 구성 요소로 매핑하는 모델 $g_k$ 를 훈련시키며, 재구성 품질을 통해 일관성 수준을 정량화한다.
• 특징 신뢰도 진단, 모델 압축, 지식 증류 분석을 위해 불일치하는 구성 요소의 분산($Var(x^\Delta)$)을 측정함으로써 방법을 적용한다.
• 압축 과정 중 지식 손실 추적과 반복적 증류 과정에서의 지식 강화를 위해 $Var(x^\Delta)$ 를 정량적 지표로 사용한다.

실험 결과

연구 질문

• RQ1 두 DNN 간 지식 일관성을 다양한 수준의 흐림 정도에서 공식적으로 정의할 수 있는가?
• RQ2 작업에 종속되지 않고 원시 중간 특징에서 일관성 있는 특징 구성 요소를 얼마나 잘 분리할 수 있는가?
• RQ3 일관성 있는 특징이 DNN에서 고품질 표현의 신뢰할 수 있는 대체 지표가 될 수 있는가?
• RQ4 지식 일관성은 지식 증류 및 네트워크 압축에서 성능 향상이 발생하는 이유를 어떻게 설명하는가?
• RQ5 불일치하는 특징 구성 요소와 모델 압축 또는 증류 과정에서의 지식 손실 간의 관계는 무엇인가?

주요 결과

• 중간 레이어에서 분리된 일관성 있는 특징 구성 요소는 불일치하는 구성 요소보다 더 신뢰할 수 있고, 작업 예측에 더 유용하다.
• 이 방법은 특징 신뢰도를 성공적으로 진단하였으며, 일관성 있는 구성 요소는 원시 특징보다 작업 성능과 더 높은 상관관계를 보였다.
• 특징 $Var(x^\Delta)$ 를 통한 지식 일관성 정량화는 네트워크 압축 과정에서 지식 손실과 정확도 저하 사이에 강한 상관관계를 드러냈다.
• 반복적 지식 증류 과정에서 불일치하는 구성 요소($Var(x^\Delta)$)는 세대를 거치며 점차 감소하여 지식 강화가 점진적으로 이루어지는 것을 보여주었다.
• 시각화 결과에 따르면, 세분화된 분류를 위한 학습된 DNN는 이진 분류를 위한 네트워크보다 더 많은 일관성 있는 지식을 포함하고 있으며, 더 rich한 특징 표현을 반영한다.
• 이 방법을 통해 추가적인 지도 학습 없이도 일관성 있는 지식 구성 요소만을 사용해 사전 훈련된 네트워크를 개선함으로써 성능 향상을 가능하게 하였다.