[논문 리뷰] NeMo: a toolkit for building AI applications using Neural Modules

Oleksii Kuchaiev, Jason Li외 12명|arXiv (Cornell University)|2019. 09. 14.

Natural Language Processing Techniques참고 문헌 11인용 수 176

한 줄 요약

NeMo는 프레임워크에 구애받지 않는 빌딩 블록으로서의 Neural Modules를 도입하고, 의미적 정확성을 보장하는 신경 타입 시스템을 통해 재사용 가능한 ASR 및 NLP 컬렉션을 효율적인 GPU 학습 지원과 함께 가능하게 한다.

ABSTRACT

NeMo (Neural Modules) is a Python framework-agnostic toolkit for creating AI applications through re-usability, abstraction, and composition. NeMo is built around neural modules, conceptual blocks of neural networks that take typed inputs and produce typed outputs. Such modules typically represent data layers, encoders, decoders, language models, loss functions, or methods of combining activations. NeMo makes it easy to combine and re-use these building blocks while providing a level of semantic correctness checking via its neural type system. The toolkit comes with extendable collections of pre-built modules for automatic speech recognition and natural language processing. Furthermore, NeMo provides built-in support for distributed training and mixed precision on latest NVIDIA GPUs. NeMo is open-source https://github.com/NVIDIA/NeMo

연구 동기 및 목표

• 명확한 인터페이스를 갖춘 neural modules를 통해 AI 시스템의 소프트웨어 엔지니어링 스타일의 분해를 촉진한다.
• 모델 구성 중 정적 의미 및 차원 검사를 수행하기 위한 신경 타입 시스템을 도입한다.
• ASR 및 NLP 작업용으로 미리 제작된 모듈의 재사용 가능한 컬렉션(예: nemo_asr, nemo_nlp)을 제공한다.
• 혼합 정밀도 및 분산 기능을 이용한 NVIDIA GPU에서의 고성능 학습을 가능하게 한다.
• PyTorch를 백엔드로 활용하고 새로운 백엔드로의 쉽게 확장 가능성을 제공하는 프레임워크에 구애받지 않는 추상화를 제시한다.

제안 방법

• Neural Module(NM)을 타입이 지정된 매개변수를 갖는 빌딩 블록으로 정의하고, 순전파/역전파 데이터 흐름을 설명하기 위해 DAG에 구성될 수 있도록 한다.
• 텐서 축을 의미 축 타입에 매핑하고 DAG 구성 중 정적 호환성 검사를 수행하는 Neural Type 시스템을 구현한다.
• 지연 실행 모델과 NeuralFactory를 갖춘 프레임워크에 구애받지 않는 코어(NeMo Core)를 제공하여 NM을 인스턴스화하고 연결한다.
• 현재 백엔드로 PyTorch를 지원하되, 추가 백엔드에 대한 경로와 PyTorch nn.Modules를 NM으로 자동 변환하는 경로를 개요로 제시한다.
• ASR(CTC 및 주의 기반) 및 NLP 작업(NMT, 언어 모델링 등)을 위한 템플릿과 함께 NM의 미리 구성된 컬렉션(예: nemo_asr, nemo_nlp)을 제공한다.
• 혼합 정밀도, 그래디언트 누적, 다중 GPU/다중 노드 학습(APEX)과 같은 고성능 학습 기법을 활용한다.

실험 결과

연구 질문

• RQ1 복잡한 AI 모델을 구성할 때 Neural Modules와 Neural Type 시스템이 재사용성 및 무결성을 어떻게 개선할 수 있는가?
• RQ2 모듈화되고 타입이 지정된 구성 요소가 AI 애플리케이션에서 디버깅, 구성 관리 및 교차 도메인 재사용(ASR 및 NLP)에 어떤 영향을 미치는가?
• RQ3 프레임워크-애그노스틱 추상화와 PyTorch 백엔드를 결합하면 현대 GPU에서 실용적인 성능과 확장성을 제공할 수 있는가?
• RQ4 말하기 및 언어 작업에서 빠른 개발과 실험을 위해 nemo_asr 및 nemo_nlp와 같은 미리 구성된 컬렉션이 어떤 이점을 제공하는가?

주요 결과

• NeMo는 정적 타입 검사로 의미 및 차원 오류를 DAG 구성 시점에 포착할 수 있는 재사용 가능하고 구성 가능한 모델 구성 요소를 가능하게 하는 신경 모듈 추상화를 제공합니다.
• 신경 타입 시스템은 의미 상속, 축 수준 제약 및 명시적 포트 인터페이스를 지원하여 모듈 간 호환성을 개선하고 묵시적 오류를 줄입니다.
• NeMo는 혼합 정밀도, 동적 손실 스케일링, 그리고 대배치 또는 분산 설정을 위한 그래디언트 누적과 함께 NVIDIA GPU에서 실용적인 고성능 학습을 달성합니다.
• nemo_asr 컬렉션은 Jasper와 유사한 구조와 재사용 가능한 데이터 레이어 및 인코더를 통해 CTC 기반 및 시퀀스-투-시퀀스 ASR 모델을 지원하며 엔드-투-엔드 학습 워크플로우의 성공적인 예를 보여준다.
• nemo_nlp 컬렉션은 NMT, 언어 모델링, BERT 기반 미세 조정과 같은 작업을 지원하여 사전 학습된 구성 요소로 변환기(Transformer) 기반 파이프라인을 가능하게 한다.
• 실증 예: 8 GPUs로 WMT16 영어-독일어에서 약 15시간 소요 후 newstest2014에서 29.2 BLEU / 28.5 SacreBLEU를 달성한 Transformer 기반 NMT 설정.