[논문 리뷰] Let's measure run time! Extending the IR replicability infrastructure to include performance aspects

Sebastian Hofstätter, Allan Hanbury|arXiv (Cornell University)|2019. 07. 10.

Topic Modeling참고 문헌 21인용 수 12

한 줄 요약

이 논문은 OSIRRC 도커 기반 복제 가능성 인프라를 확장하여 신경형 정보 검색 모델의 성능 벤치마크를 포함시키며, 두 가지 새로운 시나리오를 도입한다: 상호작용 모드에서 쿼리 지연 시간과 처리량을 측정하는 동적 전체 시스템 벤치마크와, 점수 산정 컴포넌트를 고립시킨 정적 재순서 정렬 벤치마크. 주요 기여는 BERT 기반 모델이 비컨텍스트얼라이즈드 모델보다 100배 이상 느린 추론 속도를 보임을 입증하며, 실세계 구현을 위해 반드시 해결되어야 할 중요한 성능-효과성 트레이드오프를 드러낸다.

ABSTRACT

Establishing a docker-based replicability infrastructure offers the community a great opportunity: measuring the run time of information retrieval systems. The time required to present query results to a user is paramount to the users satisfaction. Recent advances in neural IR re-ranking models put the issue of query latency at the forefront. They bring a complex trade-off between performance and effectiveness based on a myriad of factors: the choice of encoding model, network architecture, hardware acceleration and many others. The best performing models (currently using the BERT transformer model) run orders of magnitude more slowly than simpler architectures. We aim to broaden the focus of the neural IR community to include performance considerations -- to sustain the practical applicability of our innovations. In this position paper we supply our argument with a case study exploring the performance of different neural re-ranking models. Finally, we propose to extend the OSIRRC docker-based replicability infrastructure with two performance focused benchmark scenarios.

연구 동기 및 목표

• 신경형 정보 검색 재순서 정렬 모델, 특히 BERT 기반 모델에 대한 성능-효율성 트레이드오프의 증가를 다루기 위해.
• 기존의 OSIRRC 복제 가능성 인프라에 런타임 성능 메트릭을 통합할 것을 주장하기 위해.
• 실제 구현 가능성은 효과성 향상의 희생을 통해 간과당하지 않도록 하기 위해.
• 신경형 정보 검색 모델을 위한 표준화되고 하드웨어에 종속되지 않는 성능 평가를 제공하기 위해.
• 검색 시스템에서 효과성과 런타임 간의 균형 잡힌 결정을 내릴 수 있도록 커뮤니티를 지원하기 위해.

제안 방법

• 단일 쿼리 동시 처리 방식을 적용한 상호작용 모드를 시뮬레이션하는 동적 전체 시스템 벤치마크를 제안한다.
• 오버헤드를 최소화하고 세밀한 지연 시간과 처리량을 측정하기 위해 경량 HTTP 엔드포인트를 구현한다.
• 노이즈를 줄이고 재현 가능성을 확보하기 위해 동일한 하드웨어에서 여러 번의 실행을 통해 벤치마킹을 수행한다.
• 점수 산정 컴포넌트를 고립시킨 정적 재순서 정렬 벤치마크를 도입하여 후보 목록을 제공하고 모델 추론 속도를 측정한다.
• 효과성 및 성능 평가를 위한 공통 테스트베드로 MS MARCO v2 데이터셋을 사용한다.
• 표준화된 시스템 배포와 일관된 실행 환경을 확보하기 위해 도커 컨테이너를 활용한다.

실험 결과

연구 질문

• RQ1 BERT 기반 신경형 재순서 정렬 모델의 런타임 성능은 더 단순한 비컨텍스트얼라이즈드 모델과 비교해 어떻게 되는가?
• RQ2 신경형 정보 검색 모델 간의 성능 차이가 실시간 검색 시스템에서의 실제 구현에 얼마나 큰 영향을 미치는가?
• RQ3 기존의 정보 검색 복제 가능성 인fra구조(예: OSIRRC)에 표준화되고 하드웨어에 종속되지 않는 성능 벤치마크를 통합할 수 있는가?
• RQ4 모델 아키텍처, 하드웨어 가속, 추론 부하 등의 요소가 지연 시간과 GPU 활용도에 어떻게 영향을 미치는가?
• RQ5 정보 검색 분야의 다양한 신경형 인코딩 모델 간의 효과성과 성능 간의 트레이드오프는 어떠한가?

주요 결과

• BERT 기반 재순서 정렬 모델은 효과성 향상에 기여하지만, FastText와 같은 비컨텍스트얼라이즈드 모델보다 100배 이상 느린 추론 속도를 보인다.
• BERT의 성능 비용이 매우 크기 때문에 현재로서는 오프라인 점수 산정 또는 수초의 지연을 감수할 수 있는 도메인 외에는 실용적으로 사용하기 어려운 수준이다.
• GPU 활용도는 모델 추론 속도가 빨라질수록 증가하여 동시 환경에서 버티브 블로킹과 더 높은 인프라 비용을 초래할 수 있다.
• 사례 연구는 모델 간 성능 격차가 미미하지 않으며, 효과성 메트릭과 함께 고려되어야 한다는 점을 확인한다.
• 제안된 벤치마크는 신경형 정보 검색 시스템의 공정하고 재현 가능하며 하드웨어에 종속되지 않는 성능 평가를 가능하게 한다.
• OSIRRC 인프라에 성능 메트릭을 통합함으로써 정보 검색 혁신의 보다 종합적인 평가가 가능해지며, 효과성과 런타임 효율성의 균형을 맞출 수 있다.