[論文レビュー] KD-SCFNet: Towards More Accurate and Efficient Salient Object Detection via Knowledge Distillation

Jin Zhang, Qiuwei Liang+1 more|arXiv (Cornell University)|Aug 3, 2022

Visual Attention and Saliency Detection被引用数 5

ひとこと要約

本論文では、意味的誘導付きコンテキスト統合ネットワーク（SCFNet）における特徴統合を向上させるために、大規模な教師ネットワークからの知識蒸留を活用する、軽量かつ高精度な顕著オブジェクト検出モデルKD-SCFNetを提案する。本手法は、80,000枚の画像を含む新規のデータセットKD-SOD80Kを用いて蒸留を実施し、100万パラメータ未満、174 FPSの推論速度を達成しながら、最先端の精度を実現した。

ABSTRACT

Most existing salient object detection (SOD) models are difficult to apply due to the complex and huge model structures. Although some lightweight models are proposed, the accuracy is barely satisfactory. In this paper, we design a novel semantics-guided contextual fusion network (SCFNet) that focuses on the interactive fusion of multi-level features for accurate and efficient salient object detection. Furthermore, we apply knowledge distillation to SOD task and provide a sizeable dataset KD-SOD80K. In detail, we transfer the rich knowledge from a seasoned teacher to the untrained SCFNet through unlabeled images, enabling SCFNet to learn a strong generalization ability to detect salient objects more accurately. The knowledge distillation based SCFNet (KDSCFNet) achieves comparable accuracy to the state-of-the-art heavyweight methods with less than 1M parameters and 174 FPS real-time detection speed. Extensive experiments demonstrate the robustness and effectiveness of the proposed distillation method and SOD framework. Code and data: https://github.com/zhangjinCV/KD-SCFNet.

研究の動機と目的

• 顕著オブジェクト検出（SOD）におけるモデル効率性と精度のトレードオフを解消するため、軽量でありながら強力なアーキテクチャを設計すること。
• 速度およびパラメータ効率を高めるために精度を犠牲にする既存の軽量SODモデルの限界を克服すること。
• ラベルなしデータを用いて、大規模かつ事前学習済みの教師ネットワークから知識を転送することで、小規模なモデルにおける強力な一般化能力を実現すること。
• SODにおける知識蒸留を支援し、モデルの一般化能力を向上させるために、大規模かつ高品質なデータセットKD-SOD80Kを構築すること。
• 重い最先端モデルと比較して、競争力ある検出精度を維持しながら、リアルタイムの推論速度（174 FPS）を達成すること。

提案手法

• 顕著性表現の向上を図るため、複数レベルの特徴統合を強化する意味的誘導付きコンテキスト統合ネットワーク（SCFNet）を提案する。
• 未学習のSCFNet学生モデルに、ラベルなし画像を用いて事前学習済みの教師モデルからの知識蒸留を適用する。
• 学生モデルの特徴マップを教師モデルの特徴マップと一致させるために、特徴レベルの蒸留を用い、学生モデルの一般化能力および検出精度を向上させる。
• 学生ネットワークの訓練を導くために、蒸留損失と監督損失を組み合わせた損失関数を設計する。
• 蒸留パイプラインの訓練および評価に使用する、高品質なアノテーションを備えた80,000枚の画像を含むKD-SOD80Kデータセットを活用する。
• パラメータ数を最小限に抑える（100万未満）ことで、推論速度を最適化し、蒸留された知識によって高精度を維持する学生モデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留は、パラメータ数を増加させずに、軽量なSODモデルの精度を顕著に向上させることができるか？
• RQ2 大規模な教師ネットワークからの蒸留は、SODにおける小規模な学生ネットワークの一般化能力をどの程度向上させるか？
• RQ3 新たに整備されたデータセットKD-SOD80Kは、蒸留ベースのSODモデルの頑健性および性能を向上させることができるか？
• RQ4 SCFNetのような軽量モデルは、リアルタイムの推論速度を維持しながら、どの程度最先端の精度に達成できるか？
• RQ5 SCFNetに組み込まれた意味的誘導付き特徴統合メカニズムは、標準的な特徴集約と比較して、より優れた顕著性予測にどのように寄与するか？

主な発見

• KD-SCFNetは、100万パラメータ未満のわずかなパラメータ数で、最先端の重いモデルと同等の検出精度を達成した。
• 本モデルは174 FPSというリアルタイムの推論速度を達成し、実用的導入に適した高い効率性を示した。
• 知識蒸留は学生モデルの一般化能力を顕著に向上させ、ベースラインの軽量モデルと比較して、顕著オブジェクトをより正確に検出できるようにした。
• 提案されたKD-SOD80Kデータセットは、蒸留ベースのSODモデルの性能を向上させ、より頑健で一般化可能な特徴学習に寄与した。
• SCFNetに組み込まれた意味的誘導付きコンテキスト統合メカニズムは、長距離依存関係を効果的に捉え、特徴表現を向上させ、結果としてより優れた検出性能を実現した。
• 蒸留と効率的なアーキテクチャ設計の組み合わせにより、KD-SCFNetは、精度および速度の両面で、既存の軽量SODモデルを上回った。