[논문 리뷰] An Exploration of Approaches to Integrating Neural Reranking Models in Multi-Stage Ranking Architectures

Zhucheng Tu, Matt Crane외 3명|arXiv (Cornell University)|2017. 07. 26.

Advanced Database Systems and Queries참고 문헌 13인용 수 7

한 줄 요약

이 논문은 Lucene 기반의 다단계 랭킹 시스템에 컨볼루션 신경망(CNN) 재랭커를 통합하기 위한 세 가지 접근 방식을 평가한다: 파이토치 모델을 애자일 스래프트를 통해 노출시키는 것, 훈련된 모델을 딥러닝4제이를 사용해 자바로 가져오는 것, 그리고 CNN을 독립형 C++ 프로그램으로 컴파일하고 스래프트 인터페이스를 제공하는 것. 주요 발견은 파이토치 모델을 스래프트 서비스로 감싸는 방식이 성능과 통합의 간편함 사이에서 가장 균형 잡힌 성능을 보이며, 복잡한 모델 이식이나 컴파일이 필요 없고 최소한의 오버헤드를 유발한다는 것이다.

ABSTRACT

We explore different approaches to integrating a simple convolutional neural network (CNN) with the Lucene search engine in a multi-stage ranking architecture. Our models are trained using the PyTorch deep learning toolkit, which is implemented in C/C++ with a Python frontend. One obvious integration strategy is to expose the neural network directly as a service. For this, we use Apache Thrift, a software framework for building scalable cross-language services. In exploring alternative architectures, we observe that once trained, the feedforward evaluation of neural networks is quite straightforward. Therefore, we can extract the parameters of a trained CNN from PyTorch and import the model into Java, taking advantage of the Java Deeplearning4J library for feedforward evaluation. This has the advantage that the entire end-to-end system can be implemented in Java. As a third approach, we can extract the neural network from PyTorch and "compile" it into a C++ program that exposes a Thrift service. We evaluate these alternatives in terms of performance (latency and throughput) as well as ease of integration. Experiments show that feedforward evaluation of the convolutional neural network is significantly slower in Java, while the performance of the compiled C++ network does not consistently beat the PyTorch implementation.

연구 동기 및 목표

• 산업에서 널리 사용되는 루센트 기반 아키텍처에 딥러닝 모델을 통합하는 데 점점 더 큰 필요성이 존재하는 데에 대응하기 위해.
• 파이토치로 훈련된 신경망과 자바 기반의 루센트 검색 엔진 간에 실현 가능하고 고성능인 통합 전략을 탐색하기 위해.
• 서비스 기반, 자바 내부 추론, 컴파일된 C++ 등의 대안적 배포 아키텍처를 지연 시간, 처리량, 개발 복잡성 측면에서 비교하기 위해.
• 딥러닝4제이를 통한 자바로의 모델 이식 또는 C++로의 컴파일이 직접 파이토치 서비스 노출 방식을 능가할 수 있는지 평가하기 위해.

제안 방법

• 파이토치(파이썬 프론트엔드와 C/C++ 백엔드를 갖춘 딥러닝 툴킷)를 사용하여 답변 선택을 위한 단순한 CNN을 훈련시키기.
• Apache 스래프트를 사용하여 훈련된 CNN을 다국어 통신이 가능한 서비스로 노출시켜, 파이썬(PyTorch)과 자바(Lucene) 간의 통신을 가능하게 하기.
• 훈련된 CNN의 파rameters를 파이토치에서 추출하여, 딥러닝4제이를 사용해 자바 기반 추론 엔진으로 가져와 완전한 자바 환경에서의 배포를 구현하기.
• 훈련된 CNN을 독립형 C++ 프로그램으로 컴파일하고, 스래프트 서비스를 노출시켜 파이썬 의존 없이 고성능 추론을 가능하게 하기.
• 데스크톱 및 노트북 컴퓨터에서 스래프트 서비스 래퍼 여부에 관계없이 지연 시간과 처리량 메트릭을 사용해 세 가지 접근 방식을 평가하기.
• 단일 스레드 스래프트 서버(TSimpleServer)와 파이썬 클라이언트를 사용하여 직렬화 오버헤드를 포함한 종단 간 성능을 측정하기.

실험 결과

연구 질문

• RQ1 루센트 파이프라인에서 신경망 재랭커에 대해 가장 뛰어난 성능(지연 시간 및 처리량)을 보이는 통합 방식은 무엇인가? (파이토치 서비스, 자바 기반 추론(딥러닝4제이), 컴파일된 C++ 중)
• RQ2 딥러닝4제이 자바 구현의 성능은 네이티브 파이토치 및 컴파일된 C++ 추론 대비 어떻게 다른가? (피드포워드 평가 기준)
• RQ3 신경 모델을 서비스로 노출하기 위해 Apache 스래프트를 사용할 경우 발생하는 성능 오버헤드는 얼마이며, 다양한 백엔드 간에 어떻게 달라지는가?
• RQ4 컴파일된 C++ 버전의 CNN이 파이토치 구현을 일관되게 능가할 수 있는가, 아니면 파이썬 프론트엔드의 C 백엔드가 성능 차이를 최소화하는가?

주요 결과

• 데스크톱 기계에서 파이토치 모델을 스래프트 서비스로 감싸면 최고의 처리량(1226.49 QPS)을 기록했으며, 딥러닝4제이 및 C++ 컴파일된 버전을 모두 앞섰다.
• 딥러닝4제이 자바 구현은 파이토치보다 훨씬 느렸으며, 데스크톱에서 530.4 QPS에 머물러, 라이브러리가 기본 설정에서 추론 워크로드에 대해 최적화되어 있지 않음을 시사한다.
• C++로 컴파일된 모델은 파이토치와 유사한 성능(데스크톱에서 1235.50 QPS)을 보였지만 일관되게 뛰어나지 않아, 파이토치의 파이썬 프론트엔드에서 유발하는 오버헤드가 최소한임을 시사한다.
• 파이토치를 스래프트 서비스로 감싸는 데 약 6–7%의 오버헤드가 발생했으며, C++ 버전을 감싸는 데는 10–24%의 오버헤드가 발생했다. 파이썬 스래프트 클라이언트가 C++ 클라이언트보다 더 효율적인 것으로 나타났다.
• 파이토치와 딥러닝4제이 간의 성능 격차는 딥러닝4제이가 추론 워크로드에 대해 다른 딥러닝 툴킷만큼 성숙하거나 최적화되어 있지 않음을 시사한다.
• 결과적으로 직접 파이토치 서비스 노출 방식이 스래프트를 통해 현재 가장 실용적이고 뛰어난 성능을 보이며, 단순성, 성능, 프로그래밍 언어 간 상호운용성의 균형을 잘 이룬다.