[논문 리뷰] Learning a Code: Machine Learning for Approximate Non-Linear Coded Computation

Jack Kosaian, K. V. Rashmi외 1명|arXiv (Cornell University)|2018. 06. 04.

Stochastic Gradient Optimization Techniques참고 문헌 19인용 수 41

한 줄 요약

논문은 비선형 계산에 대해 탄력성을 제공하는 인코딩 및 디코딩 신경망을 학습하여 이용 불가능한 신경망 추론 출력의 근사 재구성을 가능하게 한다.

ABSTRACT

Machine learning algorithms are typically run on large scale, distributed compute infrastructure that routinely face a number of unavailabilities such as failures and temporary slowdowns. Adding redundant computations using coding-theoretic tools called "codes" is an emerging technique to alleviate the adverse effects of such unavailabilities. A code consists of an encoding function that proactively introduces redundant computation and a decoding function that reconstructs unavailable outputs using the available ones. Past work focuses on using codes to provide resilience for linear computations and specific iterative optimization algorithms. However, computations performed for a variety of applications including inference on state-of-the-art machine learning algorithms, such as neural networks, typically fall outside this realm. In this paper, we propose taking a learning-based approach to designing codes that can handle non-linear computations. We present carefully designed neural network architectures and a training methodology for learning encoding and decoding functions that produce approximate reconstructions of unavailable computation results. We present extensive experimental results demonstrating the effectiveness of the proposed approach: we show that the our learned codes can accurately reconstruct $64 - 98\%$ of the unavailable predictions from neural-network based image classifiers on the MNIST, Fashion-MNIST, and CIFAR-10 datasets. To the best of our knowledge, this work proposes the first learning-based approach for designing codes, and also presents the first coding-theoretic solution that can provide resilience for any non-linear (differentiable) computation. Our results show that learning can be an effective technique for designing codes, and that learned codes are a highly promising approach for bringing the benefits of coding to non-linear computations.

연구 동기 및 목표

• 분산 ML 추론에서 비선형 계산의 탄력성을 확보하고 이용 불가로 인한 지연을 줄이는 것을 목표로 한다.
• 임의의 미분 가능한 함수 F에 대해 작동하는 인코딩 및 디코딩 함수를 설계하는 학습 기반 방법을 제안한다.
• E와 D를 구현하기 위한 신경망 아키텍처(MLPEncoder, ConvEncoder, decoding 네트워크)를 개발한다.
• 적절한 손실 함수를 이용해 F를 통한 역전파로 E와 D를 공동으로 학습한다.
• MNIST, Fashion-MNIST, CIFAR-10에 걸친 신경망 분류기에 대해 효과를 평가한다.

제안 방법

• 인코딩 및 디코딩을 끝에서 끝으로 학습되는 신경망으로 표현한다.
• 입력 데이터 → 패리티 입력으로 인코딩 → 모든 입력에 F 적용 → 남은 이용 불가 출력을 디코딩하는 3단계 파이프라인을 사용한다.
• F를 통한 손실(MSE-Base 또는 KL-Base) 혹은 라벨 기반 손실(XENT-Label)을 사용하여 F를 통해 손실을 역전파해 E와 D를 학습한다.
• 패리티 출력 r개를 생성하기 위해 두 가지 인코딩 아키텍처를 사용한다: MLPEncoder(완전 연결)와 ConvEncoder(확장된 합성곱).
• 3층 MLP 디코딩기를 사용하여 모든 F(Xi)와 F(Pj)(이용 불가 시 0으로 처리)를 입력으로 받아 F(Xi)의 재구성 출력을 얻는다.
• 다중 채널 입력은 채널을 독립적으로 인코딩하고 패리티 채널을 결합하여 처리한다.

실험 결과

연구 질문

• RQ1 학습 기반 접근법이 비선형(미분 가능) 계산에 대한 탄력성을 제공하는 인코딩 및 디코딩 함수를 설계할 수 있는가?
• RQ2 다른 데이터셋과 기본 모델에 걸쳐 학습된 코드가 이용 불가한 출력을 얼마나 정확하게 재구성할 수 있는가?
• RQ3 비선형 F를 통해 E와 D의 엔드투엔드 학습을 가능하게 하는 아키텍처 및 학습 손실은 무엇인가?
• RQ4 중복도(k와 r)가 추론 작업의 재구성 품질에 어떤 영향을 미치는가?

주요 결과

• 학습된 코드가 이용 불가한 예측의 64-98%를 정확하게 재구성할 수 있다.
• ResNet-18 분류기는 MNIST에서 98.87%, Fashion-MNIST에서 92.06%, CIFAR-10에서 80.84%를 회복했다.
• 중복도 20%(k=5, r=1)일 때, CIFAR-10에서 전체 예측 정확도가 84.12%에서 90.59%로, MNIST에서 89.28%에서 98.75%로 향상되었다.
• 이 방법은 비선형 계산(추론)을 위한 학습 기반 에루저 코드 설계와 탄력성 확보의 첫 사례를 제시한다.
• 평가에서 두 가지 기본 모델(MLP와 ResNet-18)을 세 데이터셋에 걸쳐 사용하여 학습된 코드의 강건성을 입증했다.