[논문 리뷰] A Comprehensive Overhaul of Feature Distillation

Byeongho Heo, Jeesoo Kim외 4명|arXiv (Cornell University)|2019. 04. 03.

Advanced Neural Network Applications참고 문헌 28인용 수 12

한 줄 요약

이 논문은 키 설계 요소를 재고함으로써 지식 전이를 향상시키는 새로운 특징 정련 방법을 제안한다: 교사 특징 변환에 마진 ReLU를 사용하고, ReLU 활성화 이전에 특징을 정련하며, 정보가 없는 음성 특징을 무시하기 위해 부분 L2 거리 함수를 적용한다. 이 방법은 ResNet50 학생 모델을 사용해 ImageNet에서 21.65%의 top-1 오차를 달성하며, 이는 ResNet152 교사 모델보다도 뛰어나며, 분류, 검출, 세그멘테이션 작업 전반에서 최신 기술을 초월한다.

ABSTRACT

We investigate the design aspects of feature distillation methods achieving network compression and propose a novel feature distillation method in which the distillation loss is designed to make a synergy among various aspects: teacher transform, student transform, distillation feature position and distance function. Our proposed distillation loss includes a feature transform with a newly designed margin ReLU, a new distillation feature position, and a partial L2 distance function to skip redundant information giving adverse effects to the compression of student. In ImageNet, our proposed method achieves 21.65% of top-1 error with ResNet50, which outperforms the performance of the teacher network, ResNet152. Our proposed method is evaluated on various tasks such as image classification, object detection and semantic segmentation and achieves a significant performance improvement in all tasks. The code is available at https://sites.google.com/view/byeongho-heo/overhaul

연구 동기 및 목표

• 더 나은 네트워크 압축과 성능을 위해 특징 정련 방법의 설계를 조사하고 향상시키는 것.
• 정보 손실이나 비최적의 특징 표현으로 인해 성능이 떨어지는 기존 정련 접근법의 한계를 해결하는 것.
• 교사 및 학생 변환, 정련 위치, 거리 함수에 최적의 구성 요소를 식별하는 것.
• 마진 기반 손실과 부분 거리 함수를 사용해 ReLU 이전 특징을 정련함으로써 학생 성능이 크게 향상됨을 입증하는 것.
• 이미지 분류, 객체 검출, 세그멘테이션을 포함한 다양한 작업에서 방법의 유효성을 검증하는 것.

제안 방법

• 의미 있는 특징 경계를 유지하고 음성 값에서 오는 노이즈를 줄이기 위해 교사 전환으로 마진 ReLU 함수를 도입한다.
• 정련 위치를 ReLU 활성화 이전으로 이동시켜 양성 및 음성 특징 반응을 모두 전달함으로써 활성화 패턴의 모방을 향상시킨다.
• 작은 마진 이하의 음성 특징 값을 제외함으로써 정보가 없는 또는 해로운 정보 전달을 방지하는 부분 L2 거리 함수를 제안한다.
• 특징 차원을 정렬하고 표현 일관성을 유지하기 위해 학생 전환으로 1×1 컨볼루션을 사용한다.
• 교사 네트워크에서 훈련 모드의 배치 정규화를 적용하며, 이는 성능 향상에 크게 기여함을 입증한다.
• 학습 전반에 걸쳐 연속적인 정련을 적용하여 안정적이고 효과적인 지식 전이를 보장한다.

실험 결과

연구 질문

• RQ1 정련 위치(전-ReLU 또는 후-ReLU)가 지식 전이 성능에 미치는 영향은 무엇인가?
• RQ2 음성 특징 값을 제외하도록 정련 손실 함수를 수정할 경우 어떤 영향을 미치는가?
• RQ3 교사 네트워크에 마진 ReLU를 적용하면 활성화 경계를 유지함으로써 정련 성능을 향상시킬 수 있는가?
• RQ4 배치 정규화 모드 선택(훈련 모드 대비 평가 모드)이 정련 성능에 어떤 영향을 미치는가?
• RQ5 다양한 작업에서 기존 최신 기술을 초월할 수 있을 정도로 재설계된 정련 파이프라인의 성능은 어느 정도인가?

주요 결과

• 제안된 방법은 ResNet50 학생 모델을 사용해 ImageNet에서 21.65%의 top-1 오차를 기록하며, 이는 78.31% 정확도를 보이는 ResNet152 교사 모델보다도 뛰어나다.
• 모든 평가된 작업에서 성능 향상이 뚜렷하게 나타났다: 이미지 분류(CIFAR-100, ImageNet), 객체 검출(PASCAL VOC), 세그멘테이션(PASCAL VOC).
• 절단 실험 결과, 전-ReLU 정련이 가장 큰 성능 향상을 보였다(오차 감소 1.56%), 이는 마진 기반 손실과 배치 정규화 모드 이어진다.
• 부분 L2 거리 함수는 정보가 없는 음성 특징의 전달을 효과적으로 억제하여 일반화 성능 향상과 노이즈 감소를 도모한다.
• 기존 연속 정련 방법보다 제안된 방법이 학생과 교사 출력 간 KL 발산을 더 효과적으로 줄여, 교사의 모방 능력이 뛰어나다는 것을 시사한다.
• 교사 네트워크에서 훈련 모드 배치 정규화를 적용하면 성능 향상이 뚜렷하게 나타나며, 특히 제안된 방법에 있어 매우 중요한 역할을 함을 입증한다.