[論文レビュー] Semantic-Aware Knowledge Preservation for Zero-Shot Sketch-Based Image Retrieval

Qing Liu, Lingxi Xie+2 more|arXiv (Cornell University)|Apr 5, 2019

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 9

ひとこと要約

本稿では、ImageNet事前学習モデルの微調整中に発生する深刻な忘却を軽減する、意味的注意を備えた知識保持手法SAKEを提案する。教師-生徒フレームワークを用いた知識蒸留と意味的監視を組み合わせることで、元のImageNetデータにアクセスせずに、ソースドメインからの判別力のある特徴を保持する。この手法により、TU-BerlinおよびSketchyデータセットにおいて、ベースラインモデル比でmAP@allで最大12.5%の向上を達成し、最先端の性能を実現した。

ABSTRACT

Sketch-based image retrieval (SBIR) is widely recognized as an important vision problem which implies a wide range of real-world applications. Recently, research interests arise in solving this problem under the more realistic and challenging setting of zero-shot learning. In this paper, we investigate this problem from the viewpoint of domain adaptation which we show is critical in improving feature embedding in the zero-shot scenario. Based on a framework which starts with a pre-trained model on ImageNet and fine-tunes it on the training set of SBIR benchmark, we advocate the importance of preserving previously acquired knowledge, e.g., the rich discriminative features learned from ImageNet, to improve the model's transfer ability. For this purpose, we design an approach named Semantic-Aware Knowledge prEservation (SAKE), which fine-tunes the pre-trained model in an economical way and leverages semantic information, e.g., inter-class relationship, to achieve the goal of knowledge preservation. Zero-shot experiments on two extended SBIR datasets, TU-Berlin and Sketchy, verify the superior performance of our approach. Extensive diagnostic experiments validate that knowledge preserved benefits SBIR in zero-shot settings, as a large fraction of the performance gain is from the more properly structured feature embedding for photo images. Code is available at: https://github.com/qliu24/SAKE.

研究の動機と目的

• 未学習クラスにおける性能低下を引き起こす、ゼロショットスケッチベース画像検索（ZS-SBIR）における深刻な忘却を解消すること。
• タスク固有の微調整中にImageNetで学習された豊富で判別力のある視覚的特徴を保持することで、モデルの一般化性能を向上させること。
• 元のImageNetデータセットへのアクセスを必要としない知識保持手法の開発。
• ターゲットドメインにおけるフォト画像の特徴埋め込み構造を向上させ、ゼロショット環境下でのクロスモーダルマッチングを強化すること。

提案手法

• ImageNet事前学習モデルを固定された教師として用い、微調整中の生徒モデルを指導する教師-生徒の知識蒸留フレームワークを採用する。
• 各トレーニング画像のクラス埋め込みをImageNetの意味的空間に近似することで意味的監視を統合し、蒸留信号を精緻化する。
• 標準的な分類損失に加え、クラスレベルの意味的関係を介して生徒の特徴を教師の特徴と一致させる、新しい意味的注意知識保持損失（ℒ_SAKE）を組み合わせた損失関数を採用する。
• 分類精度と知識保持のバランスを取るためのマルチタスク学習目的関数を採用し、トレードオフを制御するハイパーパrameter λ_SAKE を用いる。
• 特にターゲットドメインのフォト画像において、クラス固有の凝集性の高いクラスタリングを維持するように特徴表現を最適化する。
• 効率的なアプローチである：トレーニング時における計算コストはわずかで、推論時には追加リソースを一切必要としない。

実験結果

リサーチクエスチョン

• RQ1 事前学習されたImageNetモデルからの知識保持が、ゼロショットスケッチベース画像検索の性能向上に寄与するか？
• RQ2 元の学習データが入手不可能な状況下で、意味的監視が知識蒸留にどのように寄与するか？
• RQ3 ソースドメインの特徴を保持することで、ZS-SBIRにおける深刻な忘却はどの程度軽減されるか？
• RQ4 フォト画像埋め込み空間における特徴構造の向上が、ゼロショット環境下でのクロスモーダルマッチングにどのように寄与するか？
• RQ5 分類損失と知識保持損失のバランスが、モデルの一般化性能に与える影響はいかほどか？

主な発見

• SAKEは、ZS-SBIRにおいてTU-BerlinおよびSketchyデータセットで最先端の性能を達成し、ベースラインモデル比でmAP@allで最大12.5%の向上を実現した。
• 性能向上の主な要因は、ターゲットドメインにおけるフォト画像の特徴表現が、より構造的で凝集性の高いクラスタリングを示していることにある。
• 実験により、知識保持が深刻な忘却を顕著に軽減することが確認された：SAKEを用いない場合、微調整後のImageNet分類精度は56.29%から45.54%に低下するが、SAKEを用いることで精度が保持された。
• λ_SAKEハイパーパrameterを増加させることで、ImageNetおよび非ImageNetのフォトカテゴリの両方で性能が向上し、有効な知識保持が確認された。
• t-SNE可視化により、SAKEはベースラインと比較して、物体クラスごとに明確で分離性の高い特徴クラスタを生成することが確認された。
• 反復的量子化（ITQ）後でも本手法の有効性が保たれることから、実世界の展開における特徴バイナリゼーションに対して高いロバスト性を示した。