[논문 리뷰] Knowledge Distillation for Multi-task Learning

Weihong Li, Hakan Bilen|arXiv (Cornell University)|2020. 07. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 5

한 줄 요약

이 논문은 다중 작업 학습을 위한 지식 정복 기반 방법을 제안하며, 학습 가능한 어댑터를 통해 다중 작업 네트워크의 특징을 작업별로 특화된 모델과 정렬함으로써 훈련의 균형과 성능을 향상시킵니다. 작업별 손실과 정복 손실을 동시에 최소화함으로써, NYU-V2 및 SVHN & Omniglot와 같은 벤치마크에서 영상 세분화, 깊이 추정, 표면 법선 예측과 같은 다양한 작업에서 뛰어난 균형 잡힌 성능을 달성합니다.

ABSTRACT

Multi-task learning (MTL) is to learn one single model that performs multiple tasks for achieving good performance on all tasks and lower cost on computation. Learning such a model requires to jointly optimize losses of a set of tasks with different difficulty levels, magnitudes, and characteristics (e.g. cross-entropy, Euclidean loss), leading to the imbalance problem in multi-task learning. To address the imbalance problem, we propose a knowledge distillation based method in this work. We first learn a task-specific model for each task. We then learn the multi-task model for minimizing task-specific loss and for producing the same feature with task-specific models. As the task-specific network encodes different features, we introduce small task-specific adaptors to project multi-task features to the task-specific features. In this way, the adaptors align the task-specific feature and the multi-task feature, which enables a balanced parameter sharing across tasks. Extensive experimental results demonstrate that our method can optimize a multi-task learning model in a more balanced way and achieve better overall performance.

연구 동기 및 목표

• 다양한 손실 크기와 특성을 가진 작업이 훈련에서 지배적으로 작용하는 다중 작업 학습의 불균형 문제를 해결합니다.
• 높은 성능을 보이는 작업이 낮은 성능을 보이는 작업을 압도하지 않도록 모든 작업의 전체 성능을 향상시킵니다.
• 다양한 의미 수준과 복잡도를 가진 작업 간의 균형 잡힌 파라미터 공유를 위해 다중 작업 네트워크의 특징을 작업별로 특화된 어댑터를 통해 정렬함으로써 가능하게 합니다.
• 사전에 훈련된 단일 작업 모델을 다중 작업 네트워크의 지식 소스로 활용함으로써 더 나은 일반화와 효율성을 달성합니다.
• 일반적으로 작업 지배를 방지하지 못하는 손실 가중치나 기울기 조절 방법보다 더 안정적이고 제어 가능한 최적화 과정을 제공합니다.

제안 방법

• 오프라인 단계에서 각 작업별로 별도의 작업별 특화 모델을 훈련하고 그 파라미터를 동결합니다.
• 다중 작업 네트워크를 최적화하여 작업별 손실과, 동결된 작업별 특화 모델의 특징과 다중 작업 네트워크의 특징을 정렬하는 정복 손실을 모두 최소화합니다.
• 다중 작업 네트워크의 특징을 각 작업별 특화 모델의 특징 공간에 맞추기 위해 작은 학습 가능한 작업별 특화 어댑터를 도입합니다.
• 선형 또는 비선형 어댑터(예: ReLU를 가지는 1×1 컨벌루션)를 사용하여 다양한 작업 간에 민첩하고 효과적인 특징 정렬을 가능하게 합니다.
• 정복 손실을 여러 층(예: 중간 층과 마지막 공유 층)에 적용하여 특징 정렬을 강화하고 최적화의 안정성을 향상시킵니다.
• 선택된 층들에서 작업별 손실과 정복 손실의 가중 합으로 구성된 복합 손실을 사용하여 다중 작업 네트워크를 엔드 투 엔드로 훈련합니다.

실험 결과

연구 질문

• RQ1 작업별 특화 모델에서의 지식 정복이 다중 작업 학습에서 균형과 전체 성능 향상에 기여할 수 있는가?
• RQ2 단일 작업 모델의 특징과 다중 작업 네트워크의 특징을 정렬함으로써 더 나은 일반화와 작업 지배 감소가 이루어지는가?
• RQ3 다양한 어댑터 아키텍처(선형 대비 비선형)가 특징 정렬과 최종 성능에 어떤 영향을 미치는가?
• RQ4 마지막 층 뿐 아니라 여러 층에 정복 손실을 적용할 경우 어떤 영향을 미치는가?
• RQ5 이 방법이 기존의 손실 가중치 및 기울기 조절 전략보다 다중 작업 최적화의 균형을 더 잘 달성할 수 있는가?

주요 결과

• 제안된 방법은 NYU-V2에서 SOTA 성능을 달성하였으며, 영상 세분화에서 mIoU가 20.75로 MTAN 및 기타 베이스라인을 초월합니다.
• NYU-V2에서 중간 층과 마지막 층에 모두 정복 손실을 적용함으로써 mIoU가 18.75에서 20.75로 향상되었으며, 이는 다층 정복의 유용성을 입증합니다.
• 이 방법은 훈련 동역학을 크게 균형 잡았습니다: 정복 손실은 작업별 손실보다 더 균형 잡힌 수렴을 보였으며, SVHN과 Omniglot의 정복 손실은 각각 0.089와 0.041이었고, 작업별 손실은 0.137과 1.492였습니다.
• NYU-V2에서 세분화, 깊이, 법선 추정에 대한 정복 손실 값(0.534, 0.381, 0.364)은 작업별 손실(0.027, 0.127, 0.039)보다 더 균형 잡혀 있었으며, 이는 최적화의 균형 향상을 시사합니다.
• 선형 어댑터만으로도 성능 향상이 가능했으며, 비선형 어댑터가 유의미한 향상을 가져오지 못했기 때문에, 단순한 투영이 특징 정렬에 효과적임을 시사합니다.
• 어댑터를 제거하면 mIoU가 17.11로 감소하여, 어댑터를 통한 특징 정렬이 성능과 균형 유지를 위해 필수적임을 확인합니다.