[논문 리뷰] Efficient CNN-LSTM based Image Captioning using Neural Network Compression

Harshit Rampal, Aman Mohanty|arXiv (Cornell University)|2020. 12. 17.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 VGG16과 LSTM을 사용하여 Flickr8k 데이터셋에서 양자화 인식 훈련을 수행할 때, 크기 기반 프루닝과 양자화를 사용하여 CNN-LSTM 이미지 캡션 모델에 대한 엔드 투 엔드 압축 파이프라인을 제안한다. 이로 인해 모델 크기 73.1% 감소, 추론 속도 71.3% 향상, 기준 모델 대비 BLEU 점수 7.7% 향상 달성.

ABSTRACT

Modern Neural Networks are eminent in achieving state of the art performance on tasks under Computer Vision, Natural Language Processing and related verticals. However, they are notorious for their voracious memory and compute appetite which further obstructs their deployment on resource limited edge devices. In order to achieve edge deployment, researchers have developed pruning and quantization algorithms to compress such networks without compromising their efficacy. Such compression algorithms are broadly experimented on standalone CNN and RNN architectures while in this work, we present an unconventional end to end compression pipeline of a CNN-LSTM based Image Captioning model. The model is trained using VGG16 or ResNet50 as an encoder and an LSTM decoder on the flickr8k dataset. We then examine the effects of different compression architectures on the model and design a compression architecture that achieves a 73.1% reduction in model size, 71.3% reduction in inference time and a 7.7% increase in BLEU score as compared to its uncompressed counterpart.

연구 동기 및 목표

• 모바일 및 웨어러블 시스템과 같은 자원 제약이 있는 엣지 디바이스에서 실시간으로 이미지 캡션 모델을 구동할 수 있도록 하기 위해.
• 일반적으로 크기와 계산 비용이 큰 엔드 투 엔드 CNN-LSTM 아키텍처에서 프루닝과 양자화의 조합 효과를 조사하기 위해.
• 엔코더(VGG16/ResNet50)와 디코더(LSTM) 구성 요소에 대해 압축 전략을 최적화하여 성능을 유지하거나 향상시키기 위해.
• 압축된 모델이 정밀도가 높은 기준 모델 대비 BLEU 점수, 모델 크기, 추론 속도 측면에서 더 나은 성능을 낼 수 있는지 평가하기 위해.

제안 방법

• 가중치의 크기를 기반으로 프루닝을 적용하여 CNN 엔코더(VGG16 또는 ResNet50)와 LSTM 디코더에서 중요도가 낮은 가중치를 제거하였다.
• 엔코더에는 훈련 후 양자화를, 디코더에는 양자화 인식 훈련을 적용하여 정밀도를 32비트 부동소수점에서 낮은 비트 폭으로 감소시켰다.
• 엔코더와 디코더 구성 요소에 걸쳐 프루닝과 양자화를 조합한 여덟 가지의 별도의 압축 아키텍처를 설계하고 평가하였다.
• 이미지당 5개의 캡션을 사용하여 Flickr8k 데이터셋에서 모델을 훈련하고 미세조정하였으며, 주요 평가 지표로 BLEU 점수를 사용하였다.
• 최적의 성능을 얻기 위해 디코더에는 양자화 인식 훈련, 엔코더에는 훈련 후 양자화를 적용한 하이브리드 압축 전략을 사용하였다.
• 압축 모델과 기준 모델을 비교하기 위해 모델 크기(MB), 2000개 샘플당 추론 시간, BLEU-1 점수를 측정하였다.

실험 결과

연구 질문

• RQ1 프루닝과 양자화를 사용한 CNN-LSTM 이미지 캡션 모델의 엔드 투 엔드 압축이 Flickr8k 데이터셋에서 성능을 유지하거나 향상시킬 수 있는가?
• RQ2 프루닝과 양자화의 조합이 공동 엔코더-디코더 아키텍처에서 모델 크기, 추론 속도, BLEU 점수에 어떤 영향을 미치는가?
• RQ3 LSTM 디코더에 양자화 인식 훈련을 적용하면 훈련 후 양자화나 프루닝 단독보다 더 나은 결과를 얻을 수 있는가?
• RQ4 정밀도가 높은 기준 모델을 초월하는 효율성과 정확도를 동시에 확보할 수 있는 압축 설정이 존재하는가?

주요 결과

• 양자화된 VGG16 엔코더와 양자화된 LSTM 디코더를 사용한 QVGG-QLSTM 모델은 기준 모델 대비 BLEU 점수 7.7% 향상 달성.
• 이 모델은 엔코더로 VGG16를 사용할 경우 모델 크기를 73.1% 감소시켰다(578.4 MB에서 155.39 MB로).
• QVGG-QLSTM 구성에서 추론 시간은 2000개 샘플당 71.3% 감소했다(5.68분에서 1.63분으로).
• 양자화 인식 훈련을 적용한 양자화된 디코더는 기준 모델과 프루닝 변형보다 우수한 성능을 보였으며, 이는 양자화 자체가 성능 향상에 기여할 수 있음을 시사한다.
• 엔코더나 디코더를 단독으로 프루닝하면 성능 저하가 심각하게 발생했으며, 일부 구성에서 BLEU 점수는 최대 20.6% 감소했다.
• 가장 뛰어난 성능을 보인 QVGG-QLSTM 모델은 기준 모델보다 더 정확하고 맥락적으로 관련성이 높은 캡션을 생성했으며, 실제 이미지에 대한 정성적 비교에서 이를 확인할 수 있었다.