[논문 리뷰] Deep geometric knowledge distillation with graphs

Carlos Lassance, Myriam Bontonou외 4명|arXiv (Cornell University)|2019. 11. 08.

Advanced Neural Network Applications참고 문헌 31인용 수 4

한 줄 요약

이 논문은 그래프 기반의 중간 활성화 특징 표현을 사용하여 교사에서 학생 네트워크로 상호관계 지식을 전달하는 차원에 구애받지 않는 지식 증류 방법인 그래프 지식 증류(GKD)를 제안한다. 유사도 기반 그래프를 통해 샘플 간 관계를 모델링하고, 인접 행렬의 차이를 최소화함으로써, GKD는 레이어 간 차원 불일치 문제를 해결하면서도 시각 벤치마크에서 표준 RKD 대비 최대 두 배의 성능 향상을 달성한다. 이는 잠재 공간 차원이 일치하지 않아도 가능하다.

ABSTRACT

In most cases deep learning architectures are trained disregarding the amount of operations and energy consumption. However, some applications, like embedded systems, can be resource-constrained during inference. A popular approach to reduce the size of a deep learning architecture consists in distilling knowledge from a bigger network (teacher) to a smaller one (student). Directly training the student to mimic the teacher representation can be effective, but it requires that both share the same latent space dimensions. In this work, we focus instead on relative knowledge distillation (RKD), which considers the geometry of the respective latent spaces, allowing for dimension-agnostic transfer of knowledge. Specifically we introduce a graph-based RKD method, in which graphs are used to capture the geometry of latent spaces. Using classical computer vision benchmarks, we demonstrate the ability of the proposed method to efficiently distillate knowledge from the teacher to the student, leading to better accuracy for the same budget as compared to existing RKD alternatives.

연구 동기 및 목표

• 교사와 학생 네트워크의 잠재 공간 차원이 일치해야 하는 표준 지식 증류의 한계를 해결하기 위해.
• 특징 차원이 다를 경우에도 지식 전달이 가능하도록 계층적 증류에서 차원 불일치 문제를 해결하기 위해.
• 잠재 표현의 기하학적 관계를 더 잘 포착하기 위해 그래프 구조를 활용하여 기존의 상관계지식 증류(RKD)를 초월하기 위해.
• 그래프 기반 증류가 표준 RKD 및 기준 방법에 비해 더 일관되고 정확한 학생 모델을 만들어내는지 입증하기 위해.

제안 방법

• 노드가 훈련 샘플을 나타내고, 간선 가중치가 특정 네트워크 레이어에서의 중간 특징 표현 간 유사도를 코딩하는 그래프를 구축한다.
• 지역 그래프 이웃을 정의하기 위해 k-최근접 이웃 접근법을 사용하여 잡음이 적은 가장 관련성이 높은 샘플 간 관계에 집중한다.
• 교사 및 학생 그래프의 인접 행렬 간의 차이를 최소화하는 손실 함수를 정의하여 훈련 중 기하학적 구조를 정렬한다.
• 레이어 단위로 그래프 기반 증류 손실을 적용함으로써 깊이, 너비 또는 입력 해상도가 다른 아키텍처 간에 차원에 구애받지 않는 지식 전달을 가능하게 한다.
• 라플라시안 행렬을 통한 그래프 신호 스무쓰니스 분석을 활용하여 학생 표현이 교사의 기하학적 구조와 얼마나 잘 일치하는지 평가한다.
• 교수 간 대비 내부 클래스 쌍, 고차원 인접 행렬(p > 1) 등의 변형을 탐색하여 정확성과 내성에 대한 영향을 평가한다.

실험 결과

연구 질문

• RQ1 잠재 공간 내 샘플 간 관계를 그래프 기반으로 모델링하면 기존의 상관계지식 증류(RKD)를 초월하여 지식 증류 성능을 향상시킬 수 있는가?
• RQ2 유사도 기반 그래프를 사용하면 특징 차원이 다를 경우에도 교사와 학생 네트워크 간 효과적인 차원에 구애받지 않는 증류가 가능한가?
• RQ3 k-NN를 통한 국소 이웃 집중 또는 교수 간 거리에 비해 모든 쌍의 거리 정보를 사용할 경우 성능에 어떤 영향을 미치는가?
• RQ4 고차원 기하학적 관계(인접 행렬의 거듭제곱을 통한)는 지식 전달을 향상시키는 데 기여하는가, 아니면 잡음을 유발하는가?
• RQ5 그래프 신호 스무쓰니스 측정을 통해 학생 네트워크의 기하학적 구조가 교사와 얼마나 잘 일치하는가?

주요 결과

• k=5일 때 GKD는 CIFAR-100에서 테스트 오차율 9.43%를 기록하여 기준 RKD-D(9.70%)보다 약 2.8%의 상대적 향상을 보였다.
• 교수 간 쌍(다른 클래스)에 집중할 경우 오차율은 9.54%로 감소하여, 마진 유지가 클러스터링 일치보다 더 유익함을 시사한다.
• 내부 클래스 쌍만 사용할 경우 오차율은 10.35%로 증가하여, 클러스터링 유사도보다 마진 기반 일치가 더 효과적임을 확인한다.
• k를 낮추는 것(예: 5로)은 더 큰 이웃 범위보다 성능 향상을 이끌어내어 국소적이고 고유사도 관계가 더 정보가 많다는 것을 보여준다.
• 고차원 인접 행렬(p=2,3)을 사용할 경우 성능이 악화되며(오차율 10.44% 및 10.37%), 먼 거리나 관련성이 낮은 쌍에서 유도되는 잡음이 지식 전달에 악영향을 미침을 시사한다.
• 스펙트럼 분석 결과 GKD는 더 스무쓰한 그래프 신호(예: 레이블 지시자 및 페일더 벡터)를 생성함을 확인하여 교사의 잠재 기하학 구조와의 일치도가 뛰어나다는 것을 입증한다.