[논문 리뷰] Piggyback: Adapting a Single Network to Multiple Tasks by Learning to Mask Weights

Arun Mallya, Dillon Davis외 1명|arXiv (Cornell University)|2018. 01. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 36

한 줄 요약

이 논문은 기존의 사전 훈련된 딥 네트워크를 수정하지 않고도 여러 새로운 작업에 적응시킬 수 있도록 이진 마스크를 학습하여 가중치를 선택적으로 활성화하거나 비활성화하는 방법인 Piggyback를 제안한다. 이 방법은 원본 네트워크를 수정하지 않으면서도 다양한 이미지 분류 작업—크게 다른 도메인으로 이격된 작업들 포함—에서 미세조정된 네트워크와 유사한 성능을 달성하며, 각 파라미터당 작업당 단지 1비트의 오버헤드만을 유발하고 치명적인 잊음(catastrophic forgetting)을 방지한다.

ABSTRACT

This work presents a method for adapting a single, fixed deep neural network to multiple tasks without affecting performance on already learned tasks. By building upon ideas from network quantization and pruning, we learn binary masks that piggyback on an existing network, or are applied to unmodified weights of that network to provide good performance on a new task. These masks are learned in an end-to-end differentiable fashion, and incur a low overhead of 1 bit per network parameter, per task. Even though the underlying network is fixed, the ability to mask individual weights allows for the learning of a large number of filters. We show performance comparable to dedicated fine-tuned networks for a variety of classification tasks, including those with large domain shifts from the initial task (ImageNet), and a variety of network architectures. Unlike prior work, we do not suffer from catastrophic forgetting or competition between tasks, and our performance is agnostic to task ordering. Code available at https://github.com/arunmallya/piggyback.

연구 동기 및 목표

• 새로운 작업을 추가할 경우 기존 모델에서 치명적인 잊음을 유발하는 지속적 학습 지속적 학습 문제를 해결한다.
• 기존 작업의 성능이 떨어지거나 광범위한 파라미터 업데이트가 필요한 미세조정 및 정규화 기반 방법의 한계를 극복한다.
• 기존 가중치를 재학습하거나 수정하지 않고도 단일 사전 훈련된 네트워크를 여러 하류 작업에 효율적으로 적응시킬 수 있도록 한다.
• 다양한 데이터셋과 아키텍처, 특히 큰 도메인 이격이 있는 경우에도 높은 성능을 유지하면서 추가 파라미터 비용을 최소화한다.
• 기존 모델을 수정하거나 새로운 모델을 다운로드하지 않고도 엣지 디바이스에 새로운 기능을 배포할 수 있는 확장 가능한 솔루션을 제공한다.

제안 방법

• 모든 작업의 기초로 사용하기 위해 고정된, 수정되지 않은 가중치를 가진 사전 훈련된 기반 네트워크를 활용한다.
• 각 작업별로 학습 가능한 실수값 마스크 가중치를 도입하며, 이는 미분 가능하고, 이산화 임계 처리 함수를 통과시켜 이진 마스크를 생성한다.
• 이항 마스크를 기반 네트워크 가중치에 요소별로 곱하여 개별 가중치를 활성화하거나 비활성화함으로써 작업별로 특화된 필터를 효과적으로 생성한다.
• 기반 네트워크 가중치를 동결한 채로, 작업별 손실 함수를 사용하여 백프로파게이션을 통해 마스크 가중치를 종단 간(end-to-end)으로 훈련한다.
• 훈련 후 실수값 마스크 가중치를 기각하고, 임계 처리된 이진 마스크만 유지하며, 이를 각 작업별로 저장한다.
• 각 작업에 대해 독립적인 이진 마스크를 학습함으로써 동일한 기반 네트워크가 모든 작업에서 공통된 특징 추출기로 기능할 수 있도록 지원한다.

실험 결과

연구 질문

• RQ1 미세조정이나 가중치 업데이트 없이도 고정된 사전 훈련된 딥 네트워크가 새로운 작업에 효과적으로 적응할 수 있는가?
• RQ2 이진 마스크 학습이 기존에 학습된 작업의 성능를 유지하면서 치명적인 잊음을 방지할 수 있는가?
• RQ3 이 방법은 ImageNet에서 WikiArt나 스케치로의 큰 도메인 이격이 있는 데이터셋 간에도 일반화 가능한가?
• RQ4 정확도와 파라미터 효율성 측면에서 Piggyback 방법은 미세조정 및 기타 지속적 학습 기준선과 비교해 어떻게 성능을 내는가?
• RQ5 이 방법은 복합 훈련 방식을 포함한 다층 아키텍처와 세그멘테이션 작업 등으로 확장 가능한가?

주요 결과

• Visual Decathlon 테스트 세트에서 Piggyback는 97.24%의 정확도를 달성하여 DAN(97.24% 대비 96.77%)과 유사한 성능를 보이며, 기본 네트워크의 1.28배의 파라미터 비용만을 사용한다.
• PASCAL 2011 + SBD 세그멘테이션 작업에서 평균 IOU는 61.41을 기록하여 전체 미세조정된 VGG-16의 61.08과 매우 유사하며, 마스크에 17MB, 새로운 레이어에 7.5MB의 오버헤드만을 유발한다.
• 성능는 작업 순서에 민감하지 않으며, 기존 작업의 성능가 저하되지 않으며, 여러 작업을 추가한 후에도 유지된다. 이는 고정된 기반 네트워크 가중치 덕분이다.
• 이 방법은 VGG-16, ResNets, DenseNets 등 다양한 아키텍처로 일반화되며, WikiArt 그림이나 인간 스케치와 같이 상당한 도메인 이격이 있는 데이터셋에서도 잘 작동한다.
• 모든 테스트된 방법 중에서 가장 낮은 비율인 1.28배의 총 파라미터 비용을 기록하며, 각 파라미터당 작업당 단지 1비트의 추가 저장 비용을 유발한다.
• 단일 완전 연결 레이어만 추가된 경우에도 높은 성능를 유지하며, 동시에 미세조정된 레이어와 마스크 레이어를 포함한 복합 훈련 방식으로도 성공적으로 확장된다.