[論文レビュー] Let's measure run time! Extending the IR replicability infrastructure to include performance aspects

Sebastian Hofstätter, Allan Hanbury|arXiv (Cornell University)|Jul 10, 2019

Topic Modeling参考文献 21被引用数 12

ひとこと要約

本論文は、OSIRRCのDockerベースの再現性インfraストラクチャを拡張し、ニューラルIRモデルのパフォーマンスベンチマークを導入することを提案する。新たに2つのシナリオを導入する：インタラクティブモードでクエリのレイテンシーやスループットを測定する動的フルシステムベンチマーク、およびスコアリング部品を分離する静的レランクイングベンチマーク。主な貢献は、BERTベースのモデルが文脈を考慮しないモデルよりも100倍以上も遅くなることを示したことであり、これは実世界のデプロイにおいて重要なパフォーマンスと有効性のトレードオフを浮き彫りにしている。

ABSTRACT

Establishing a docker-based replicability infrastructure offers the community a great opportunity: measuring the run time of information retrieval systems. The time required to present query results to a user is paramount to the users satisfaction. Recent advances in neural IR re-ranking models put the issue of query latency at the forefront. They bring a complex trade-off between performance and effectiveness based on a myriad of factors: the choice of encoding model, network architecture, hardware acceleration and many others. The best performing models (currently using the BERT transformer model) run orders of magnitude more slowly than simpler architectures. We aim to broaden the focus of the neural IR community to include performance considerations -- to sustain the practical applicability of our innovations. In this position paper we supply our argument with a case study exploring the performance of different neural re-ranking models. Finally, we propose to extend the OSIRRC docker-based replicability infrastructure with two performance focused benchmark scenarios.

研究の動機と目的

• ニューラルIRレランカーにおける増大するパフォーマンスと効率性のトレードオフ、特にBERTベースのモデルを対象とする。
• 既存のOSIRRC再現性インfraストラクチャに実行時パフォーマンスメトリクスを統合するよう提唱する。
• 実用的デプロイの可能性が有効性の向上のために見過ごされないよう保証する。
• ニューラルIRモデルのための標準的でハードウェアに依存しないパフォーマンス評価を提供する。
• 検索システムにおける有効性と実行時間の間の意思決定を支援する。

提案手法

• 1回のクエリずつ実行するインタラクティブなクエリ処理をシミュレートする動的フルシステムベンチマークを提案する。
• オーバーヘッドを最小限に抑えるために軽量なHTTPエンドポイントを実装し、詳細なレイテンシーとスループットを測定する。
• 複数回にわたる実行において同一のハードウェアを用いてベンチマークを実施し、ノイズを低減し再現性を確保する。
• スコアリング部品を分離する静的レランクイングベンチマークを導入し、候補リストを提供し、モデルのインファレンス速度を測定する。
• 両方の有効性とパフォーマンス評価の共通テストベッドとしてMS MARCO v2データセットを用いる。
• Dockerコンテナを活用してシステムのデプロイを標準化し、一貫した実行環境を確保する。

実験結果

リサーチクエスチョン

• RQ1 BERTベースのニューラルレランカーの実行時パフォーマンスは、より単純な文脈を考慮しないモデルと比べてどの程度異なるか？
• RQ2 ニューラルIRモデル間のパフォーマンス差が、リアルタイム検索システムにおける実用的デプロイにどの程度影響を及えるか？
• RQ3 標準的でハードウェアに依存しないパフォーマンスベンチマークを、OSIRRCのような既存のIR再現性インfraストラクチャに統合できるか？
• RQ4 モデルアーキテクチャ、ハードウェアアクセラレーション、インファレンス負荷などの要因が、クエリレイテンシーやGPU利用率に与える影響は何か？
• RQ5 IRにおける異なるニューラルエンコーディングモデルにおいて、有効性とパフォーマンスのトレードオフはどのようなものか？

主な発見

• BERTベースのレランカーは、FastTextのような文脈を考慮しないモデルよりも100倍以上も遅く、顕著な有効性の向上が見られるにもかかわらずそうである。
• BERTのパフォーマンスコストは非常に大きく、現時点ではオフラインスコアリングや数秒の遅延に耐えられる分野に限定して使用されている。
• GPU利用率はモデルのインファレンス速度に比例して上昇し、並列処理環境ではボトルネックやインfraコストの増加を引き起こす可能性がある。
• 事例研究により、モデル間のパフォーマンスギャップが軽微ではなく、有効性メトリクスと併せて考慮すべきであることが確認された。
• 提案されたベンチマークにより、ニューラルIRシステムの公平で再現可能かつハードウェアに依存しないパフォーマンス評価が可能になった。
• OSIRRCインフラストラクチャにパフォーマンスメトリクスを統合することで、有効性と実行時間効率の両方をバランスよく評価する、より包括的なIRイノベーションの評価が可能になった。