[논문 리뷰] GluonCV and GluonNLP: Deep Learning in Computer Vision and Natural Language Processing

Jian Guo, He He외 14명|arXiv (Cornell University)|2019. 07. 09.

Multimodal Machine Learning Applications참고 문헌 18인용 수 90

한 줄 요약

GluonCV와 GluonNLP는 MXNet 기반의 툴킷으로, 모듈식 빌딩 블록, 사전 학습된 모델, 빠른 시제품 작성을 위한 모델 Zoo를 제공하며, 다중 언어 배포를 지원합니다.

ABSTRACT

We present GluonCV and GluonNLP, the deep learning toolkits for computer vision and natural language processing based on Apache MXNet (incubating). These toolkits provide state-of-the-art pre-trained models, training scripts, and training logs, to facilitate rapid prototyping and promote reproducible research. We also provide modular APIs with flexible building blocks to enable efficient customization. Leveraging the MXNet ecosystem, the deep learning models in GluonCV and GluonNLP can be deployed onto a variety of platforms with different programming languages. The Apache 2.0 license has been adopted by GluonCV and GluonNLP to allow for software distribution, modification, and usage.

연구 동기 및 목표

• CV와 NLP 모델 전반에서 빌딩 블록을 재사용하기 위한 모듈식 API 제공.
• 빠른 시제품 제작과 재현성을 위한 최첨단 사전 학습 모델, 학습 스크립트, 학습 로그 제공.
• MXNet 생태계를 활용하여 여러 언어와 플랫폼에 걸친 배포를 가능하게 한다.
• Apache 2.0 라이선스 하에 오픈 소스 개발을 촉진하고 활발한 커뮤니티를 육성한다.

제안 방법

• 데이터 유틸리티, 모델, 이니셜라이저, 로스와 같은 재사용 가능한 구성요소를 포함한 모듈식 API 설계 설명.
• 버킷 배치 및 패딩 유틸리티를 이용한 데이터 파이프라인 구성으로 효율적인 미니배치를 생성하는 방법 설명.
• CV 및 NLP 작업 전반에 걸친 수백 개의 사전 학습 모델이 포함된 모델 Zoo를 유지.
• 표준 벤치마크에서 다른 오픈 소스 프레임워크에 비한 성능을 보여준다.
• MXNet 바인딩을 통해 CPU, GPU 및 다중 언어에 걸친 배포 유연성을 강조한다.

실험 결과

연구 질문

• RQ1 GluonCV/NLP의 모듈식 API가 CV 및 NLP 작업에서 효율적인 프로토타이핑과 커스터마이즈를 어떻게 가능하게 하는가?
• RQ2 표준 벤치마크에서 GluonCV/NLP 모델이 다른 오픈소스 구현과 비교해 어떤 성능 향상을 보이는가?
• RQ3 MXNet를 통한 다중 언어 배포가 CV/NLP 모델의 사용 편의성과 포터블성에 어떤 영향을 미치는가?

주요 결과

• GluonCV/NLP가 CV 및 NLP 과제의 주요 벤치마크에서 다른 오픈 소스 구현과 동등하거나 더 나은 성능을 보인다.
• ImageNet의 ResNet-50에서 GluonCV/NLP는 인용된 기준선보다 현저히 높은 top-1 정확도(79.2%)를 보인다.
• 모델 Zoo는 다양한 작업을 위한 200개가 넘는 즉시 사용 가능한 모델을 제공한다.
• MXNet의 다중 언어 바인딩과 효율적인 저수준 연산자에서 실제 배포의 이점을 확인할 수 있다.
• Int8 추론 예제는 BERT_BASE 같은 모델에서 상당한 대기 시간 감소를 보여준다.