[논문 리뷰] FastONN -- Python based open-source GPU implementation for Operational Neural Networks

Junaid Malik, Serkan Kıranyaz외 1명|arXiv (Cornell University)|2020. 06. 03.

Model Reduction and Neural Networks참고 문헌 7인용 수 24

한 줄 요약

FastONN는 운영 신경망(ONNs)을 훈련하기 위한 파이썬 기반의 오픈소스 GPU 라이브러리로, 효율적이고 유연하며 미분 가능한 계산을 가능하게 하는 운영 뉴런의 벡터화된 공식을 도입한다. 이는 역방향 자동 미분을 활용하여 백프로파게이션을 수행하며, 사용자 정의 연산자 세트와 기울기 흐름을 지원하고, 성능 추적, 체크포인팅, 메트릭 모니터링을 위한 보조 모듈을 포함하여 GPU 하드웨어에서 ONN 훈련을 크게 가속화한다.

ABSTRACT

Operational Neural Networks (ONNs) have recently been proposed as a special class of artificial neural networks for grid structured data. They enable heterogenous non-linear operations to generalize the widely adopted convolution-based neuron model. This work introduces a fast GPU-enabled library for training operational neural networks, FastONN, which is based on a novel vectorized formulation of the operational neurons. Leveraging on automatic reverse-mode differentiation for backpropagation, FastONN enables increased flexibility with the incorporation of new operator sets and customized gradient flows. Additionally, bundled auxiliary modules offer interfaces for performance tracking and checkpointing across different data partitions and customized metrics.

연구 동기 및 목표

• 운영 신경망(ONNs)을 위한 효율적이고 확장 가능하며 GPU 가속된 훈련 프레임워크의 부족을 해결하기 위해.
• 다양한 비선형 연산자 세트를 다양한 기능을 갖춘 미분 가능한 신경망 프레임워크 내에서 민첩하게 통합할 수 있도록 하기 위해.
• 다양한 ONN 응용 분야를 위해 사용자 정의 기울기 흐름과 연산자 세트를 지원하기 위해.
• 훈련 중 성능 추적, 체크포인팅, 메트릭 모니터링를 위한 모듈식 도구를 제공하기 위해.
• 자동 미분과 GPU 최적화된 벡터화된 계산을 통해 ONN 훈련을 가속화하기 위해.

제안 방법

• 효율적인 GPU 계산을 가능하게 하기 위해 운영 뉴런의 새로운 벡터화된 공식을 도입한다.
• ONNs 내에서 종단 간 백프로파게이션을 위해 자동 역방향 미분을 적용한다.
• 플러그인 연산자 세트와 사용자 정의 기울기 흐름을 지원하기 위한 모듈식 라이브러리 아키텍처를 설계한다.
• 기존 딥러닝 워크플로우와의 원활한 통합을 위해 파이토치 스타일의 계산 그래프 구축 방식을 활용한다.
• 로그 기록, 데이터 파artitions across 체크포인팅, 사용자 정의 메트릭 계산을 위한 보조 모듈을 통합한다.
• CUDA 기반 텐서 연산을 사용하여 GPU 가속을 통해 성능을 최적화한다.

실험 결과

연구 질문

• RQ1 어떻게 GPU 가속을 통해 운영 신경망을 효율적으로 훈련시킬 수 있는가?
• RQ2 벡터화되고 미분 가능한 공식은 ONN 훈련 속도와 유연성에 어떤 영향을 미치는가?
• RQ3 모듈식이고 오픈소스인 라이브러리는 ONNs에서 다양한 연산자 세트와 사용자 정의 기울기 흐름을 지원할 수 있는가?
• RQ4 성능 추적 및 체크포인팅 통합은 훈련의 안정성과 확장성에 어떻게 기여하는가?
• RQ5 자동 미분은 복잡한 ONN 레이어의 구현을 얼마나 단순화할 수 있는가?

주요 결과

• FastONN는 GPU 가속된 운영 뉴런의 벡터화된 계산 덕분에 ONN 훈련에서 뚜렷한 성능 향상을 이룬다.
• 자동 역방향 미분을 통해 새로운 연산자 세트와 사용자 정의 기울기 흐름의 민감한 통합을 지원한다.
• 성능 추적, 체크포인팅, 사용자 정의 메트릭을 위한 보조 모듈은 훈련의 재현성과 확장성 향상에 기여한다.
• 벡터화된 공식은 GPU 하드웨어에서 계산 오버헤드를 감소시키고 메모리 효율성을 향상시킨다.
• 오픈소스 성격과 파이썬 기반 설계 덕분에 확장성과 커뮤니티 기여가 용이하다.
• 기존 딥러닝 워크플로우와의 강력한 호환성을 보이며, 특히 자동 미분에 의존하는 워크플로우와 잘 맞는다.