[논문 리뷰] Model compression for faster structural separation of macromolecules captured by Cellular Electron Cryo-Tomography

Jialiang Guo, Bo Zhou외 3명|arXiv (Cornell University)|2018. 01. 31.

Computational Physics and Python Applications참고 문헌 8인용 수 3

한 줄 요약

이 논문은 세포 내 전자 냉동 톰그래피(CECT)에서 매크로분자 분류를 가속화하기 위해 지식 정렬 기반 모델 압축 기법을 제안한다. 깊이 있는 교사 네트워크(DSRF3D-v2)에서 생성한 소프트 레이블을 기반으로 컴act한 학생 네트워크를 훈련시킴으로써, 모델 크기를 최대 113배 줄이고 추론 시간을 2.85배 빠르게 하면서도 원래 정확도의 93.8%를 유지하여 대규모 CECT 데이터셋에서의 효율적 배포를 가능하게 한다.

ABSTRACT

Electron Cryo-Tomography (ECT) enables 3D visualization of macromolecule structure inside single cells. Macromolecule classification approaches based on convolutional neural networks (CNN) were developed to separate millions of macromolecules captured from ECT systematically. However, given the fast accumulation of ECT data, it will soon become necessary to use CNN models to efficiently and accurately separate substantially more macromolecules at the prediction stage, which requires additional computational costs. To speed up the prediction, we compress classification models into compact neural networks with little in accuracy for deployment. Specifically, we propose to perform model compression through knowledge distillation. Firstly, a complex teacher network is trained to generate soft labels with better classification feasibility followed by training of customized student networks with simple architectures using the soft label to compress model complexity. Our tests demonstrate that our compressed models significantly reduce the number of parameters and time cost while maintaining similar classification accuracy.

연구 동기 및 목표

• 고속 CECT 데이터에서 수백만 개의 서브톰로그램을 처리하는 데 발생하는 증가하는 계산적 병목 현상을 해결하기 위해.
• 매크로분자 분류에 사용되는 정확도가 높은 대규모 3D-CNN 모델의 높은 추론 비용을 줄이기 위해.
• 제한된 계산 자원으로도 대규모 CECT 데이터셋에서 딥 러닝 모델을 효율적으로 배포할 수 있도록 하기 위해.
• 실제 생물학적 응용 분야에서 실현 가능한 생물학적 응용을 위해, 상당한 모델 압축에도 불구하고 높은 분류 정확도를 유지하기 위해.

제안 방법

• 모의 CECT 서브톰로그램에서 복잡한 DSRF3D-v2 교사 네트워크를 훈련시어 고품질의 소프트 레이블을 생성한다.
• 단순화된 아키텍처를 가진 점진적으로 작아지는 세 개의 학생 네트워크(DSRF3D-v2-s1, s2, s3)를 설계한다.
• 교사 네트워크에서 생성한 소프트 레이블을 사용하여 지식 정렬을 통해 학생 네트워크를 훈련시킨다.
• 교사에서 학생으로 지식을 전달하는 데 효과적일 수 있도록 온도 조정된 소프트맥스 함수(T=5)를 사용한다.
• 스티어티식 그래디언트 디센트와 네스테로프 모멘텀을 사용한 분류 교차 엔트로피 손실 함수를 최적화한다.
• 검증 손실 기반 조기 정지 기법을 적용하여 과적합을 방지하고 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 지식 정렬이 CECT 서브톰로그램 분류를 위한 대규모 3D-CNN 모델을 상당한 정확도 손실 없이 효과적으로 압축할 수 있는가?
• RQ2 3D 생물학적 영상 분석에서 모델 압축률, 추론 속도, 분류 정확도 사이의 상호 상충 관계는 어떠한가?
• RQ3 교사 네트워크에서 유도된 지식 정렬이 하드 레이블만으로 훈련된 경우와 비교해 더 작은 학생 네트워크의 성능을 어떻게 향상시키는가?
• RQ4 어느 학생 네트워크 아키텍처가 이 맥락에서 압축, 속도, 정확도 사이의 최적의 균형을 달성하는가?
• RQ5 모델 압축이 대규모 CECT 데이터셋에서 딥 러닝 모델의 실용적 배포를 어느 정도 가능하게 하는가?

주요 결과

• DSRF3D-v2-s1 학생 모델은 파라미터 수를 18.3M에서 1.0M로 줄여 18.1배의 압축률을 달성했으며, 교사 모델 정확도의 93.8%를 유지했다.
• DSRF3D-v2-s1 모델은 100만 개의 서브톰로그램당 추론 시간을 15.91초에서 9.41초로 줄여 1.69배의 속도 향상을 이뤘다.
• 교사 모델의 소프트 레이블을 기반으로 학생 네트워크를 훈련시킴으로써, 하드 레이블만으로 훈련한 경우에 비해 정확도가 최대 8.16%p 향상되었다.
• DSRF3D-v2-s3 모델은 최고의 압축률(113.3×)을 달성했지만 정확도 손실도 가장 크게 발생하여 교사 모델 정확도의 89.83%만 유지했다.
• 지식 정렬을 통해 학생 모델는 하드 레이블만으로 훈련된 모델보다 더 잘 일반화되었으며, 소프트 레이블 가이드의 가치를 입증했다.
• 결과적으로, 지식 정렬 기반의 모델 압축 기법이 CECT에서 3D-CNN에 매우 효과적이며, 대규모 생물학적 데이터셋의 효율적 처리를 가능하게 한다는 것이 입증되었다.