[논문 리뷰] Direct Feedback Alignment Scales to Modern Deep Learning Tasks and Architectures

Julien Launay, Iacopo Poli외 2명|arXiv (Cornell University)|2020. 06. 23.

Advanced Memory and Neural Computing참고 문헌 87인용 수 5

한 줄 요약

이 논문은 Direct Feedback Alignment (DFA)가 복잡한 작업으로의 확장에 있어 이전의 제약에도 불구하고, 가중치 전송 없이도 현대적인 딥러닝 아키텍처—신경 레디언스 필드, 추천 시스템, 그래프 신경망, 트랜스포머—를 성공적으로 학습시켜 백프로파게이션 수준의 성능을 달성할 수 있음을 보여준다. 이는 학습 성능을 위해 가중치 전송이 필수적이라는 믿음에 도전하는 바이다.

ABSTRACT

Despite being the workhorse of deep learning, the backpropagation algorithm is no panacea. It enforces sequential layer updates, thus preventing efficient parallelization of the training process. Furthermore, its biological plausibility is being challenged. Alternative schemes have been devised; yet, under the constraint of synaptic asymmetry, none have scaled to modern deep learning tasks and architectures. Here, we challenge this perspective, and study the applicability of Direct Feedback Alignment to neural view synthesis, recommender systems, geometric learning, and natural language processing. In contrast with previous studies limited to computer vision tasks, our findings show that it successfully trains a large range of state-of-the-art deep learning architectures, with performance close to fine-tuned backpropagation. At variance with common beliefs, our work supports that challenging tasks can be tackled in the absence of weight transport.

연구 동기 및 목표

• Direct Feedback Alignment (DFA)가 컴퓨터 비전을 초월한 현대적인 딥러닝 아키텍처와 작업으로 확장 가능한지 조사하기.
• Transformers, 그래프 컨volution, 신경 레디언스 필드와 같은 복잡한 최신 모델에서 DFA의 성능 평가하기.
• 딥러닝에서 높은 정확도를 달성하기 위해 가중치 전송이 필수적이라는 일반적인 믿음에 도전하기.
• 높은 표현 능력과 복잡한 최적화 지형을 요구하는 응용 분야에서 DFA의 실현 가능성 평가하기.
• 이중 네트워크 추론과 같은 아키텍처 수정이 DFA 성능 향상에 기여할 수 있는지 탐색하기.

제안 방법

• DFA는 고정된 랜덤 피드백 행렬을 사용해 전역 손실을 각 레이어의 가중치에 직접 투영함으로써 가중치 전송이 필요 없도록 한다.
• 메모리 사용을 줄이고 대규모 네트워크로의 확장이 가능하도록 공유된 랜덤 행렬 기법을 활용한다.
• 각 레이어에서 전역 손실이 고정된 랜덤 행렬을 통해 선형 투영되어 지역적이고 비동기적인 가중치 업데이트가 가능해진다.
• 이 방법은 완전 연결 네트워크, 그래프 컨볼루션, 트랜스포머, NeRF 기반 모델 등 다양한 아키텍처에 적용된다.
• 실험은 NeRF, 추천 시스템, 기하학적 학습, 자연어 처리 작업에서 DFA를 사용해 학습하고, 정밀하게 튜닝된 백프로파게이션과 결과를 비교한다.
• 절단 실험은 NeRF-Dual(粗모델과 세밀모델 출력 평균화)과 넓은 네트워크 변형(NeRF-XL)을 포함하여 정확도 및 성능 향상의 탄력성 평가한다.

실험 결과

연구 질문

• RQ1 DFA는 트랜스포머와 그래프 신경망과 같은 현대적인 딥러닝 아키텍처를 백프로파게이션과 유사한 성능으로 학습시킬 수 있는가?
• RQ2 DFA는 신경 레디언스 필드나 대규모 추천 시스템과 같은 복잡하고 고용량의 모델로 효과적으로 확장 가능한가?
• RQ3 주의 메커니즘과 같은 성능 격차가 존재하는 아키텍처에서 DFA의 한계는 무엇인가?
• RQ4 이중 네트워크 추론이나 넓이 증가와 같은 아키텍처 수정이 DFA의 성능 격차를 줄일 수 있는가?
• RQ5 복잡한 딥러닝 작업에서 고성능 학습을 위해 가중치 전송이 진정으로 필수적인가?

주요 결과

• DFA는 신호 합성, 추천 시스템, 기하학적 학습, 자연어 처리 분야의 최신 모델을 성공적으로 학습시켜 정밀하게 튜닝된 백프로파게이션 성능에 근접한 결과를 달성한다.
• 트랜스포머에서는 DFA와 백프로파게이션 간 성능 격차가 존재하여, 대규모이고 복잡한 아키텍처에서 일반적인 학습 관행을 재고할 필요가 있음을 시사한다.
• NeRF-Dual 변형은 군집된 네트워크와 세밀한 네트워크의 예측을 평균화해 고주파 노이즈를 줄이고 시각적 품질을 향상시키지만, PSNR 향상은 미미하여 각 씬당 0.5 dB 이내이다.
• 네트워크 너비를 늘리는 것(NeRF-XL)은 DFA 하에서 PSNR 향상에 기여하지 않았으며, 학습 과정은 더 메모리 집약적이 되어 다중 GPU 환경이 필요해졌다.
• 가중치 전송 없이도 다양한 아키텍처에서 경쟁 가능한 성능을 달성함으로써, 고성능 학습을 위해 시냅스 대칭성이 필수적이라는 가정에 도전한다.
• DFA는 V100에서 500 GPU 시간 이내로 재현 가능하며, NeRF 및 추천 시스템에 대한 전체 코드와 학습된 모델을 제공한다.