[논문 리뷰] Neural Network Libraries: A Deep Learning Framework Designed from Engineers' Perspectives

Takuya Narihira, Alonsogarcia, Javier외 15명|arXiv (Cornell University)|2021. 02. 12.

Anomaly Detection Techniques and Applications참고 문헌 30인용 수 5

한 줄 요약

Neural Network Libraries (NNL)는 엔지니어 중심으로 설계된 딥러닝 프레임워크로, 유연한 네트워크 구성, 정적 및 동적 계산 그래프 지원, GUI 기반 Neural Network Console(NNC)와의 원활한 통합을 통해 사용성과 프레임워크 간 호환성을 강조한다. 이는 효율적인 모델 개발, 분산 학습, 주요 프레임워크와의 호환성을 가능하게 하며, 고속 추론 및 최신 기술 모델(GANs 및 ResNet-152 포함) 지원을 통해 입증된다.

ABSTRACT

While there exist a plethora of deep learning tools and frameworks, the fast-growing complexity of the field brings new demands and challenges, such as more flexible network design, speedy computation on distributed setting, and compatibility between different tools. In this paper, we introduce Neural Network Libraries (https://nnabla.org), a deep learning framework designed from engineer's perspective, with emphasis on usability and compatibility as its core design principles. We elaborate on each of our design principles and its merits, and validate our attempts via experiments.

연구 동기 및 목표

• 딥러닝의 복잡성 증가 문제를 엔지니어링 관점에서 사용성과 호환성에 중점을 두어 설계된 프레임워크를 통해 해결하고자 한다.
• 간결하고 직관적인 신경망 구성과 분산 시스템에서의 효율적 계산을 통해 개발 시간을 단축하고자 한다.
• 기존 딥러닝 프레임워크 간의 원활한 상호운용성을 보장하여 도구 분열을 방지하고 혁신 공유를 가속화하고자 한다.
• GUI 기반 개발과 상호작용 가능한 데모를 제공하는 사전 학습된 생성 모델을 통해 비전문가의 접근성을 넓히고자 한다.
• 플러그인 확장성을 통해 자동 신경망 아키텍처 탐색 및 해석 가능한 AI(XAI)와 같은 고급 사용 사례를 지원하고자 한다.

제안 방법

• 프레임워크는 변수(데이터 및 기울기용), 함수(수학 연산용), 파라미터화된 함수(학습 가능한 레이어용)의 세 가지 핵심 구성 요소를 사용한다.
• 정적 및 동적 계산 그래프를 모두 지원하여 네트워크 정의의 유연성과 실행 효율성을 확보한다.
• 사용자는 레이어를 순차적으로 스택하여 네트워크를 정의하며, 전방 및 역방향 전파를 출력 변수의 메서드 호출을 통해 처리한다.
• 파라미터 서버 및 데이터 병렬 전략을 활용해 다수의 GPU 및 머신에서 분산 학습을 가능하게 한다.
• 파이썬 기반 플러그인 시스템을 제공하여 기능을 확장할 수 있으며, Grad-CAM, LIME, SGD 영향도와 같은 XAI 기법 지원이 가능하다.
• Neural Network Console(NNC)는 시각적 네트워크 설계, 학습, 추론을 위한 GUI를 제공하며, .nntxt 파일 임포트/익스포트를 통한 NNL과의 双방향 호환성을 제공한다.

실험 결과

연구 질문

• RQ1 엔지니어링 사용성을 우선시하면서도 유연성을 손상시키지 않는 딥러닝 프레임워크는 어떻게 설계할 수 있는가?
• RQ2 통합된 프레임워크가 기존 딥러닝 도구 간 호환성 향상과 분열 방지에 얼마나 기여할 수 있는가?
• RQ3 하이브리드 정적/동적 그래프 시스템은 빠른 프로토타이핑과 고성능 추론을 동시에 효과적으로 지원할 수 있는가?
• RQ4 프로그래밍 기반 프레임워크와 GUI 기반 개발의 통합은 모델 개발 및 배포 속도 향상에 얼마나 효과적인가?
• RQ5 자동 신경망 아키텍처 탐색 및 XAI 플러그인 지원은 모델 최적화 및 해석 가능성 향상에 상당한 영향을 미칠 수 있는가?

주요 결과

• Neural Network Libraries는 최소한의 버일러플레이트로 간결하고 가독성 있는 모델 정의를 가능하게 하여 개발 시간을 단축하고 유지보수성을 향상시킨다.
• 프레임워크는 고속 추론 및 학습 성능을 달성하며, 분산 환경에서 ResNet-152 및 GAN과 같은 복잡한 모델 지원이 가능하다.
• NNL과 Neural Network Console 간의 양방향 호환성 덕분에 프로그래밍적으로 설계된 모델를 시각적으로 검증하고 프로파일링할 수 있다.
• 플러그인 시스템을 통해 Grad-CAM, LIME, SGD 영향도와 같은 고급 기법이 원활하게 통합되어 모델의 해석 가능성 향상에 기여한다.
• Google Colab에서 제공하는 상호작용 데모를 통해 로컬 GPU가 없더라도 최신 생성 모델(StyleGAN2, CycleGAN 포함)에 접근할 수 있다.
• NNC 내 통합된 자동 신경망 아키텍처 탐색 기능을 통해 정확도-복잡도 트레이드오프를 효율적으로 탐색할 수 있어 임베디드 시스템용 모델 개발을 가속화한다.