[論文レビュー] DnS: Distill-and-Select for Efficient and Accurate Video Indexing and Retrieval

Giorgos Kordopatis-Zilos, Christos Tzelepis+3 more|arXiv (Cornell University)|Jul 14, 2022

Advanced Image and Video Retrieval Techniques参考文献 63被引用数 2

ひとこと要約

本論文は、高性能な教師モデルから、精度と効率のトレードオフが異なる複数の学生ネットワークを学習する知識蒸留フレームワークDnS（Distill-and-Select）を提案する。推論時、選択ネットワークがクエリを最も適切な学生モデルに動的にルーティングすることで、検索性能、速度、ストレージのバランスを最適化し、FIVR-200Kで教師モデル比55倍の高速化と240倍のストレージ削減を達成したが、mAPは0.041の低下にとどまる。

ABSTRACT

In this paper, we address the problem of high performance and computationally efficient content-based video retrieval in large-scale datasets. Current methods typically propose either: (i) fine-grained approaches employing spatio-temporal representations and similarity calculations, achieving high performance at a high computational cost or (ii) coarse-grained approaches representing/indexing videos as global vectors, where the spatio-temporal structure is lost, providing low performance but also having low computational cost. In this work, we propose a Knowledge Distillation framework, called Distill-and-Select (DnS), that starting from a well-performing fine-grained Teacher Network learns: a) Student Networks at different retrieval performance and computational efficiency trade-offs and b) a Selector Network that at test time rapidly directs samples to the appropriate student to maintain both high retrieval performance and high computational efficiency. We train several students with different architectures and arrive at different trade-offs of performance and efficiency, i.e., speed and storage requirements, including fine-grained students that store/index videos using binary representations. Importantly, the proposed scheme allows Knowledge Distillation in large, unlabelled datasets -- this leads to good students. We evaluate DnS on five public datasets on three different video retrieval tasks and demonstrate a) that our students achieve state-of-the-art performance in several cases and b) that the DnS framework provides an excellent trade-off between retrieval performance, computational speed, and storage space. In specific configurations, the proposed method achieves similar mAP with the teacher but is 20 times faster and requires 240 times less storage space. The collected dataset and implementation are publicly available: https://github.com/mever-team/distill-and-select.

研究の動機と目的

• 微細粒度と粗粒度の手法の長所を組み合わせることで、大規模動画検索におけるパフォーマンスと効率のトレードオフを解消すること。
• 高い検索精度を維持しながら、計算コストとストレージコストを顕著に削減するスケーラブルなフレームワークの構築。
• 高価なアノテーションに依存せずに、大規模なラベルなし動画データセットを活用して、高品質な学生モデルを訓練する知識蒸留の実現。
• 類似度の信頼度に基づいて、推論時に最も適切な学生モデルにクエリをルーティングする知的な選択ネットワークの設計。
• 速度、精度、ストレージの最適なトレードオフを実現し、複数の動画検索ベンチマークで最先端のパフォーマンスを達成すること。

提案手法

• 高性能な微細粒度教師モデルから、多様なアーキテクチャと複雑度を持つ複数の学生ネットワークを知識蒸留により学習。
• 低ストレージ・高速検索を目的としたバイナリゼーション学生や、高精度を求めるアテンションベースの学生など、特別な学生を含む。
• 粗粒度と微細粒度の類似度予測の乖離を用いて、より正確だがコストの高い微細粒度学生をいつ使用するかを決定する選択ネットワークを学習。
• 推論時に選択ネットワークを活用し、各クエリを最も適切な学生モデルにルーティングすることで、計算量を最小限に抑えつつ検索品質を維持。
• 大規模なラベルなしデータセットを活用して蒸留を実施し、高価なアノテーションに依存せずに効果的な学生モデルの訓練を可能に。
• 微細粒度学生の時間的・空間的構造を保持するとともに、粗粒度およびバイナリゼーション変換されたバージョンのコンact表現を保存するように蒸留プロセスを最適化。

実験結果

リサーチクエスチョン

• RQ1 大規模なラベルなし動画データセットに対して、知識蒸留を効果的に適用し、効率的で正確な検索モデルを訓練できるか？
• RQ2 動的ルーティング機構は、動画検索における検索精度と計算効率のバランスをどのように改善できるか？
• RQ3 1つの教師モデルから複数の学生ネットワークを訓練する際、モデルの精度、推論速度、ストレージ要件の最適なトレードオフは何か？
• RQ4 選択ネットワークは、粗粒度類似度スコアが不十分である場合に、微細粒度モデルによる再ランク付けを的確にトリガーできるか？
• RQ5 蒸留された学生モデルは、標準的な動画検索ベンチマークにおいて、性能と効率の両面で既存の最先端手法を上回ることができるか？

主な発見

• DnSフレームワークは、FIVR-200K、TACoS、ActivityNetを含む複数の動画検索ベンチマークで最先端のパフォーマンスを達成した。
• FIVR-200Kでは、バイナリゼーション学生を用いたDnS5%構成が、ViSiL教師モデル比で55倍の高速化と240倍のストレージ削減を達成し、平均平均精度（mAP）は0.041の低下にとどまった。
• 30%の再ランク付けを実施するDnSフレームワークは、2つのデータセットでViSiL教師モデルを上回るパフォーマンスを示し、計算コストが許容可能な場合に動的ルーティングが精度を向上させることを実証した。
• 粗粒度学生は、微細粒度モデルと比較して数個のオーダーも高速なクエリ処理を可能にし、ほぼ即時の応答を実現したが、精度は低かった。
• 微細粒度アテンション学生は、4つの評価データセットのうち2つで他の学生を上回り、高い計算コストを伴いながらも高い精度を達成した。
• 選択ネットワークは、不要な高コストな微細粒度モデルの使用を効果的に削減し、曖昧なクエリのみをそれらにルーティングすることで、顕著な効率性を維持しながら、性能の損失を最小限に抑えた。