[논문 리뷰] Network Transplanting

Quanshi Zhang, Yang Yu외 2명|arXiv (Cornell University)|2018. 04. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 17인용 수 6

한 줄 요약

이 논문은 사전에 훈련된 분류 및 작업별 신경망을 광범용 모듈러 이식 네트워크에 점진적으로 통합하는 방법인 네트워크 이식을 소개한다. 이는 광범용 훈련 데이터를 요구하지 않으며, 새로운 분류를 학습할 때 치명적인 잊음(catastrophic forgetting)을 방지한다. 새로운 분류에 대해 10~100개의 샘플만으로도 지도 기반 기준보다 뛰어난 성능을 내며, 샘플이 전혀 없을 경우에도 이를 뛰어넘는다. 이는 새로운 지식을 0-또는 소수의 샘플로도 전이할 수 있도록 하는 백디스티illation 알고리즘을 통해 가능하다.

ABSTRACT

This paper focuses on a new task, i.e., transplanting a category-and-task-specific neural network to a generic, modular network without strong supervision. We design an functionally interpretable structure for the generic network. Like building LEGO blocks, we teach the generic network a new category by directly transplanting the module corresponding to the category from a pre-trained network with a few or even without sample annotations. Our method incrementally adds new categories to the generic network but does not affect representations of existing categories. In this way, our method breaks the typical bottleneck of learning a net for massive tasks and categories, i.e. the requirement of collecting samples for all tasks and categories at the same time before the learning begins. Thus, we use a new distillation algorithm, namely back-distillation, to overcome specific challenges of network transplanting. Our method without training samples even outperformed the baseline with 100 training samples.

연구 동기 및 목표

• 다양한 분류 및 작업을 동시에 학습하기 위한 유니버설 신경망을 훈련할 때 발생하는 높은 데이터 수집 비용과 확장성의 한계를 해결하기 위해.
• 모든 훈련 데이터를 사전에 확보하지 않고도 모듈러하고 해석 가능한 네트워크 아키텍처에서 새로운 분류 및 작업을 점진적으로 학습할 수 있도록 하기 위해.
• 외부 네트워크에서 사전에 훈련된 모듈을 직접 통합할 수 있도록 하되, 치명적인 잊음을 방지하는 방법을 개발하기 위해.
• 대규모 레이블링된 데이터셋에 의존도를 줄이기 위해 최소 또는 무 supervision으로 지식 전이를 가능하게 하기 위해.
• 모듈러하고 LEGO처럼 조립 가능한 방식으로 유니버설 신경망을 구축할 수 있는 이론적으로 탄탄하고 확장 가능한 프레임워크를 제공하기 위해.

제안 방법

• 분류 모듈, 작업 모듈, 어댑터를 별도로 두어 功能적 해석 가능성을 확보하는 광범용 모듈러 이식 네트워크를 설계한다.
• 백디스티illation 알고리즘을 사용하여, 사전 훈련된 분류 모듈의 특징을 이식 네트워크의 작업 모듈로 투영하는 어댑터를 훈련한다.
• 실제 훈련 샘플이 없을 경우, 가짜 특징을 사용하여 ReLU 연산을 거쳐 역전파하는 기울기 계산 전략을 적용한다.
• 교수-학생 네트워크 간 특징 분포의 차이를 최소화하는 손실 함수를 사용하여 어댑터 훈련을 제약 조건이 있는 최적화 문제로 공식화한다.
• 기존 지식을 유지하면서 새로운 분류 모듈을 어댑터 학습을 통해 순차적으로 추가함으로써 이식 네트워크의 점진적 확장을 가능하게 한다.
• 기대 활성화 크기를 기반으로 유도된 스케일링 인자 λ를 사용하여 백디스티illation 과정에서 훈련 동역학을 안정화시킨다.

실험 결과

연구 질문

• RQ1 모든 훈련 데이터를 한 번에 확보하지 않고도 광범용 신경망을 새로운 분류 및 작업을 지원하도록 점진적으로 확장할 수 있는가?
• RQ2 사전에 훈련된 작업별 네트워크에서 최소 또는 무 supervision으로도 모듈러하고 광범용 네트워크로 지식을 전이할 수 있는가?
• RQ3 기존 분류에서의 성능 유지와 함께 새로운 분류를 학습할 때 치명적인 잊음을 얼마나 효과적으로 방지할 수 있는가?
• RQ4 새로운 분류에 대한 실제 훈련 샘플이 전혀 없을 경우에도 백디스티illation이 효과적인 지식 전이를 가능하게 하는가?
• RQ5 유사한 분류와 비유사한 분류에 대해 이식했을 때 정확도와 일반화 능력 측면에서 성능는 어떻게 비교되는가?

주요 결과

• 제안된 네트워크 이식 방법은 10~100개의 훈련 샘플만으로도 직접 학습 기반 대비 10~12% 높은 세그멘테이션 정확도를 달성했다.
• 놀랍게도, 훈련 샘플이 전혀 없는 경우에도 기존 기반 모델이 100개의 샘플을 사용한 것보다 더 뛰어난 성능를 보였으며, 이는 백디스티illation의 효과를 입증한다.
• 비유사한 분류(예: 차량)에 대해 이식한 경우 세그멘테이션 정확도는 약간 감소했지만, 분류 성능에는 뚜렷한 향상이 있었으며, 이는 더 넓은 표현 학습 능력을 의미한다.
• 이 방법은 치명적인 잊음을 효과적으로 방지하여, 점진적 확장 과정 중 기존에 학습된 분류에서의 성능를 강력하게 유지했다.
• 백디스티illation 전략은 실제 데이터가 없는 새로운 분류에 대해서도 안정적인 훈련과 교수-학생 네트워크 간 효과적인 특징 정렬을 가능하게 했다.
• 실험 결과는 이식 네트워크의 모듈러하고 해석 가능한 아키텍처가 응용 중심의 분류 및 작업 모듈 조합을 탄력적으로 지원함을 확인했다.