[논문 리뷰] Deep Net Triage: Analyzing the Importance of Network Layers via Structural Compression

Theodore S. Nowak, Jason J. Corso|arXiv (Cornell University)|2018. 01. 15.

COVID-19 diagnosis using AI참고 문헌 11인용 수 3

한 줄 요약

이 논문은 구조적 압축을 통해 딥 네트워크의 개별 레이어의 중요도를 평가하는 '딥 넷 트리지(Deep Net Triage)' 방법을 소개한다. 즉, 연속된 레이어 블록을 하나의 압축된 레이어로 대체한다. 주요 발견은 어떤 레이어도 다른 레이어보다 더 중요하지 않으며, 전체 압축된 네트워크를 미세조정하면 원본 모델과 동일하거나 그 이상의 성능을 달성할 수 있다. 또한 지식 증류(Knowledge Distillation)는 수렴 속도를 가속화하지만, 교사 모델의 정확도를 초과하지는 않는다.

ABSTRACT

Despite their prevalence, deep networks are poorly understood. This is due, at least in part, to their highly parameterized nature. As such, while certain structures have been found to work better than others, the significance of a model's unique structure, or the importance of a given layer, and how these translate to overall accuracy, remains unclear. In this paper, we analyze these properties of deep neural networks via a process we term deep net triage. Like medical triage---the assessment of the importance of various wounds---we assess the importance of layers in a neural network, or as we call it, their criticality. We do this by applying structural compression, whereby we reduce a block of layers to a single layer. After compressing a set of layers, we apply a combination of initialization and training schemes, and look at network accuracy, convergence, and the layer's learned filters to assess the criticality of the layer. We apply this analysis across four data sets of varying complexity. We find that the accuracy of the model does not depend on which layer was compressed; that accuracy can be recovered or exceeded after compression by fine-tuning across the entire model; and, lastly, that Knowledge Distillation can be used to hasten convergence of a compressed network, but constrains the accuracy attainable to that of the base model.

연구 동기 및 목표

• 딥 네트워크의 개별 레이어 상대적 중요도를 이해하는 것. 이는 광범위하게 사용되고 있음에도 불구하고 여전히 잘 이해되지 않는 분야이다.
• 기존의 프루닝 또는 압축 기법에 의존하지 않고도 레이어의 중요도를 평가하는 체계적인 방법을 개발하는 것.
• 구조적 압축이 모델 정확도, 수렴 속도, 학습된 필터 표현에 미치는 영향을 평가하는 것.
• 지식 증류가 압축된 네트워크의 학습을 가속화할 수 있는지, 그리고 교사 모델의 성능을 초월할 수 있는지 조사하는 것.
• 압축과 증류를 활용한 구조적이고 해석 가능한 프레임워크를 제공하여 딥 네트워크 구성 요소를 분석하는 것.

제안 방법

• 구조적 압축은 연속된 레이어 블록(예: 두 개에서 세 개의 컨볼루션 레이어에 이르기까지 풀링 레이어 포함)을 하나의 등가 레이어로 대체하여 수행된다.
• 압축된 네트워크는 무작위 가중치, 부모 네트워크의 평균 가중치, 또는 중간 체크포인트를 활용한 학생-교사 네트워크(STN)를 통해 초기화된다.
• 학습은 초기화 후 압축 레이어 전용 또는 전체 네트워크에 대해 수행되어 수렴성과 정확도를 평가한다.
• 지식 증류를 사용하여 부모 모델의 지식을 압축된 학생 모델로 이전하여 수렴 속도를 가속화한다.
• 필터 활성화 시각화를 통해 모델 간에 학습된 특징을 정성적으로 비교하고 구조적 변화의 타당성을 검증한다.
• 분석은 복잡도가 점차 증가하는 네 가지 데이터셋(MNIST, CIFAR10, CIFAR100, Stanford Dogs)에 적용된다.

실험 결과

연구 질문

• RQ1 압축 대상이 되는 레이어의 선택이 최종 모델 정확도에 영향을 미치는가?
• RQ2 압축된 전체 네트워크를 미세조정하면 원본 모델의 정확도를 복원하거나 초월할 수 있는가?
• RQ3 지식 증류는 압축된 네트워크의 수렴 속도를 향상시키며, 학생 모델이 교사 모델의 성능을 초월할 수 있는가?
• RQ4 압축된 네트워크의 필터 표현은 원본 모델 및 증류된 모델과 비교해 어떻게 다른가?
• RQ5 데이터셋의 복잡도가 압축된 레이어의 중요도 또는 행동에 영향을 미치는가?

주요 결과

• 어느 레이어도 다른 레이어보다 더 중요하지 않다: 어떤 레이어를 압축해도 모든 데이터셋에서 유사한 최대 정확도를 달성한다.
• 압축된 전체 네트워크를 미세조정하면 원본 모델보다 더 최적화된 새로운 필터 표현이 유도되어 성능이 기준 모델을 초월한다.
• 지식 증류는 정확도를 높이기 위해 필요한 에포크 수를 크게 줄이며, 하지만 학생 네트워크는 교사 모델의 정확도를 초과할 수 없다.
• 필터 시각화 결과, STN 네트워크는 부모 모델과 거의 동일한 반응을 학습하지만, TM-RW 네트워크는 독특하고 더 최적화된 필터를 학습하여 성능 향상을 설명한다.
• 데이터 복잡도에 따라 수렴 속도가 달라진다: STN 모델은 Stanford Dogs와 같은 복잡한 데이터셋에서 더 빠르게 수렴한다. 이는 증류가 더 어려운 환경에서 학습 안정성을 향상시킨다는 것을 시사한다.
• 무작위 또는 평균 가중치 초기화는 수렴을 향상시키지 못하며, 오히려 느리게 만들 수 있다. 이는 압축된 모델에 있어 적절한 초기화가 매우 중요하다는 것을 의미한다.