[논문 리뷰] Decomposing Convolutional Neural Networks into Reusable and Replaceable Modules

Rangeet Pan, Hridesh Rajan|arXiv (Cornell University)|2021. 10. 11.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 합성곱 신경망(CNNs)을 각 출력 클래스별로 특화된 모듈로 분해하여, 재학습 없이도 재사용 및 교체가 가능하도록 제안한다. 이 방법은 전체 재학습 대비 상위 1위 정확도 감소율이 1.77%에 불과하며, 이산화탄소 배출량은 최대 37배 감소시켜 효율적이고 지속 가능한 모델 적응을 가능하게 한다.

ABSTRACT

Training from scratch is the most common way to build a Convolutional Neural Network (CNN) based model. What if we can build new CNN models by reusing parts from previously build CNN models? What if we can improve a CNN model by replacing (possibly faulty) parts with other parts? In both cases, instead of training, can we identify the part responsible for each output class (module) in the model(s) and reuse or replace only the desired output classes to build a model? Prior work has proposed decomposing dense-based networks into modules (one for each output class) to enable reusability and replaceability in various scenarios. However, this work is limited to the dense layers and based on the one-to-one relationship between the nodes in consecutive layers. Due to the shared architecture in the CNN model, prior work cannot be adapted directly. In this paper, we propose to decompose a CNN model used for image classification problems into modules for each output class. These modules can further be reused or replaced to build a new model. We have evaluated our approach with CIFAR-10, CIFAR-100, and ImageNet tiny datasets with three variations of ResNet models and found that enabling decomposition comes with a small cost (1.77% and 0.85% for top-1 and top-5 accuracy, respectively). Also, building a model by reusing or replacing modules can be done with a 2.3% and 0.5% average loss of accuracy. Furthermore, reusing and replacing these modules reduces CO2e emission by ~37 times compared to training the model from scratch.

연구 동기 및 목표

• 새로운 작업이나 고장 난 구성 요소에 대해 재학습이 필요한 높은 계산 비용과 환경 영향을 해결하기 위해.
• 이전에 완전히 연결된 네트워크에서만 가능했던 모듈성의 개념을 합성곱 신경망에 도입하기 위해, 클래스별로 특화된 구성 요소를 식별하기 위해.
• 모델 전체를 재학습하지 않고도 오류 수정이나 모델 적응을 위해 개별 모듈의 재사용 및 교체를 지원하기 위해.
• 모듈화된 구성으로 재학습의 중복을 최소화하여 딥러닝과 관련된 탄소 배출량을 줄이기 위해.
• 컴퓨터 비전 응용 분야에서 지속 가능하고 점진적인 모델 진화를 위한 프레임워크 제공하기 위해.

제안 방법

• 이미지 분류를 위한 CNN을 학습한 후, 각 모듈이 하나의 출력 클래스에 대해 이진 분류기로 기능하는 방식으로 분해한다.
• 데이터 기반 접근법을 사용하여 네트워크 전반에서 각 출력 클래스에 특화된 활성화 패턴과 가중치 기여도를 식별한다.
• 같은 입력 크기의 입력을 받고, 관련 특징 맵과 가중치를 사용해 이진 결정(해당 클래스 존재 여부)을 내는 하위 네트워크로 각 모듈을 구성한다.
• 입력 차원과 특징 계층의 일치를 확보하여 모듈 간 호환성을 보장하고, 유사한 입력 사양을 가진 모델 간에서 재사용 가능성을 확보한다.
• 새로운 아키텍처에 모듈을 통합하여 새로운 모델에 모듈을 교체하거나 재사용한다. 이 과정에서 원본 모델의 구조와 추론 파이프라인을 그대로 유지한다.
• 전력 모니터링 도구(예: Intel Power Gadget)를 사용해 CO₂e 배출량을 측정하여, 분해 기반의 재사용/교체 방식과 전체 재학습 방식을 비교한다.

실험 결과

연구 질문

• RQ1 공유된 합성곱 가중치가 존재하는 상황에서도, 합성곱 신경망을 출력 클래스별로 효과적으로 재사용 및 교체 가능한 모듈로 분해할 수 있는가?
• RQ2 기존 모델과 비교해 학습된 CNN을 클래스별 모듈로 분해할 경우 정확도 손실 수준은 어느 정도인가?
• RQ3 모듈의 재사용 및 교체를 통해 재학습 없이도 모델 성능 향상이나 고장 난 동작 수정이 어느 정도 가능할 수 있는가?
• RQ4 기존 모델을 재학습하는 것 대비 모듈을 재사용하거나 교체함으로써 얼마나 많은 CO₂e 배출 감소를 기대할 수 있는가?
• RQ5 다양한 데이터셋과 모델 아키텍처에 적용했을 때 모듈 재사용 및 교체의 실용적 트레이드오프와 제약 조건은 무엇인가?

주요 결과

• 분해 과정에서 발생하는 정확도 손실은 최소 수준이다: CIFAR-10, CIFAR-100, ImageNet Tiny에서 상위 1위 정확도는 1.77% 감소하고, 상위 5위 정확도는 0.85% 감소한다.
• 모듈 재사용 또는 교체 시 평균 상위 1위 정확도 손실은 2.3%, 상위 5위 정확도 손실은 0.5%로 나타나 강한 전이 가능성을 입증한다.
• 기존 모델을 재학습하는 것 대비 모듈을 재사용하거나 교체할 경우 CO₂e 배출량이 최대 37배 감소한다.
• 일회성 분해 오버헤드로 인한 CO₂e 배출량은 각각 CIFAR-10에 대해 116 lbs, CIFAR-100에 대해 371 lbs, ImageNet-200에 대해 3,800 lbs이며, 재학습 대비 허용 가능한 수준이다.
• 교체 시나리오에서는 기존 재학습 대비 CO₂e를 최대 42배(최고 성능 모델)와 31.5배(고정 에포크) 감소시킨다.
• 이 방법은 예를 들어 고장 난 고릴라 분류기 모듈을 수정된 것으로 교체함으로써 전체 모델을 재학습하지 않고도 고장 난 분류를 수정하는 실용적인 해결책을 제공한다.