[논문 리뷰] How deep the machine learning can be

János Végh|arXiv (Cornell University)|2020. 05. 02.

Parallel Computing and Optimization Techniques참고 문헌 4인용 수 4

한 줄 요약

이 논문은 극한의 병렬 처리 조건에서 딥러닝 시스템의 기본 성능 한계를 조사하며, 하드웨어 스케일이 증가함에도 불구하고 통신 오버헤드와 아키텍처 비효율성—특히 프로세서와 메모리 간의 데이터 이동—으로 인해 계산 효율성이 크게 저하됨을 드러낸다. 고성능 GPU와 같은 최신 하드웨어를 사용하더라도 데이터 복사 등의 비병렬화 구성 요소로 인해 효율성이 떨어지며, 이는 고성능 AI 시스템에서 선형 스케일링 가정이 성립하지 않음을 도전한다.

ABSTRACT

Today we live in the age of artificial intelligence and machine learning; from small startups to HW or SW giants, everyone wants to build machine intelligence chips, applications. The task, however, is hard: not only because of the size of the problem: the technology one can utilize (and the paradigm it is based upon) strongly degrades the chances to succeed efficiently. Today the single-processor performance practically reached the limits the laws of nature enable. The only feasible way to achieve the needed high computing performance seems to be parallelizing many sequentially working units. The laws of the (massively) parallelized computing, however, are different from those experienced in connection with assembling and utilizing systems comprising just-a-few single processors. As machine learning is mostly based on the conventional computing (processors), we scrutinize the (known, but somewhat faded) laws of the parallel computing, concerning AI. This paper attempts to review some of the caveats, especially concerning scaling the computing performance of the AI solutions.

연구 동기 및 목표

• 극한의 병렬 처리 조건에서 딥러닝 시스템의 확장성 한계를 분석하기.
• 대규모 AI 하드웨어에서 성능 저하의 근본 원인, 특히 통신 및 동기화 오버헤드를 규명하기.
• 현대 고성능 컴퓨팅 아키텍처(예: GPU 및 가속기)가 실제 AI 워크로드에서 얼마나 효과적인지 평가하기.
• 하드웨어 자원이 증가함에도 불구하고 AI 시스템에서 선형 성능 스케일링을 가정하는 것의 문제를 도전하기.
• 초고성능 컴퓨터 및 AI 하드웨어에서 이론적 성능와 실제 작업 효율성 간 격차를 부각하기.

제안 방법

• 성능 스케일링을 모델링하기 위해 Amdahl의 법칙과 Gustafson의 법칙을 사용해 병렬 컴퓨팅의 이론적 및 실용적 한계를 분석한다.
• 분산 병렬 처리를 계산, 통신, 동기화 구성 요소로 구성된 시스템으로 모델링하여 전체 효율성에 대한 영향을 정량화한다.
• 실제 초고성능 컴퓨터 데이터(예: Piz Daint)를 사용해 예측된 성능와 실제 성능 및 효율을 다양한 하드웨어 세대 간 비교한다.
• 반정밀도(예: 하프 정밀도) 사용이 통신 대 계산 비율과 전체 시스템 효율성에 미치는 영향을 평가한다.
• 효율성 표면 모델을 적용해 아키텍처 변경(예: GPU 통합)이 성능 및 효율성에 미치는 영향을 시각화한다.
• 비가속화 및 GPU 가속화된 구성 간 비교를 통해 데이터 이동 및 메모리 계층의 성능에 미치는 영향을 고립하여 분석한다.

실험 결과

연구 질문

• RQ1 수천 개의 프로세서로 확장될 경우 딥러닝 시스템의 기본 성능 한계는 무엇인가?
• RQ2 AI 워크로드에서 프로세서 수가 증가함에 따라 성능이 선형적으로 증가하지 않는 이유는 무엇인가?
• RQ3 메모리와 프로세서 간의 데이터 이동이 AI 시스템의 효과적 성능에 어떤 영향을 미치는가?
• RQ4 GPU와 같은 하드웨어 가속기의 성능 향상은 실제 AI 성능에 얼마나 기여하는가? 그리고 숨겨진 비용은 무엇인가?
• RQ5 부동소수점 정밀도를 낮추면 통신 대 계산 비율과 시스템 효율성에 어떤 영향을 미치는가?

주요 결과

• Piz Daint 초고성능 컴퓨터의 작업 성능은 GPU 통합 후 약 3배 증가했지만, 명시적 성능 향상은 미미했으며, 이는 뚜렷한 효율성 향상을 시사한다.
• GPU 도입으로 효율성이 향상되었지만, 호스트 메모리와 장치 메모리 간의 데이터 복사로 인해 비병렬화 구성 요소(1−αeff)가 증가했다.
• GPU 메모리 용량을 증가시켰더니 성능 향상이 더 긴 데이터 전송 시간으로 상쇄되어 (1−αeff)와 전체 효율성이 모두 감소했다.
• 반정밀도 산술을 사용하면 계산 시간이 4배 감소하지만 통신 시간은 그대로 유지되어 통신 대 계산 비율이 증가하고 상대적 효율성이 떨어졌다.
• 대규모 시스템의 성능은 단일 프로세서의 한계 외에도 Amdahl의 법칙이 예측한 바와 같이 병렬 처리의 내재적 한계에 의해 제한된다.
• 이 논문은 전통적인 컴퓨팅 패러다임—순차적이고 시계 신호에 기반한 프로세서—가 생물학적 시스템(예: 뇌)을 극한의 스케일에서 효율적으로 모방하지 못하며, 이는 주요 결론이다.