[論文レビュー] MSDN: Mutually Semantic Distillation Network for Zero-Shot Learning

Shiming Chen, Ziming Hong+6 more|arXiv (Cornell University)|Mar 7, 2022

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本稿では、ゼロショット学習のための相互的意味的蒸留ネットワーク（MSDN）を提案する。MSDNは、双方向アテンション機構を用いて属性ベースの視覚的特徴と視覚ベースの属性特徴を同時に学習することで、知識の転送を強化する。2つの相互アテンションサブネット間での協調学習を可能にするために意味的蒸留損失を導入し、3つのベンチマークで最先端の性能を達成した。CUBとSUNでは、それぞれ正確性と調和平均で18.7%および11.0%の向上を達成した。

ABSTRACT

The key challenge of zero-shot learning (ZSL) is how to infer the latent semantic knowledge between visual and attribute features on seen classes, and thus achieving a desirable knowledge transfer to unseen classes. Prior works either simply align the global features of an image with its associated class semantic vector or utilize unidirectional attention to learn the limited latent semantic representations, which could not effectively discover the intrinsic semantic knowledge e.g., attribute semantics) between visual and attribute features. To solve the above dilemma, we propose a Mutually Semantic Distillation Network (MSDN), which progressively distills the intrinsic semantic representations between visual and attribute features for ZSL. MSDN incorporates an attribute$ ightarrow$visual attention sub-net that learns attribute-based visual features, and a visual$ ightarrow$attribute attention sub-net that learns visual-based attribute features. By further introducing a semantic distillation loss, the two mutual attention sub-nets are capable of learning collaboratively and teaching each other throughout the training process. The proposed MSDN yields significant improvements over the strong baselines, leading to new state-of-the-art performances on three popular challenging benchmarks, i.e., CUB, SUN, and AWA2. Our codes have been available at: \url{https://github.com/shiming-chen/MSDN}.

研究の動機と目的

• ゼロショット学習において、学習済みクラスにおける視覚的特徴と属性特徴の間の潜在的意味的知識を推論し、未学習クラスへの効果的な転送を実現すること。
• 従来の方法が直線的アテンションとグローバル特徴アライメントに依存するため、細分化された内在的意味的表現を捉えられないという限界を克服すること。
• 教師-生徒スタイルの相互蒸留メカニズムを用いて、視覚的特徴と属性特徴の間で協調学習を可能にすること。
• 属性→視覚および視覚→属性の両方向からの補完的意味的表現を同時に学習することで、ゼロショット認識性能を向上させること。

提案手法

• MSDNは2つの相互アテンションサブネットを採用する：属性→視覚アテンションサブネット（属性をガイドとして視覚的特徴を学習）と、視覚→属性アテンションサブネット（視覚をガイドとして属性特徴を学習）。
• 2つのサブネットは、クラスの事後確率分布を整列させる意味的蒸留損失を用いて同時に学習され、相互知識蒸留を可能にする。
• 自己キャリブレーション損失を適用して、アテンションマップの精錬とノイズ低減により特徴品質を向上させる。
• 最終的な特徴表現は、両サブネットからの埋め込みを組み合わせることで得られ、補完的意味的局所化を活用する。
• モデルは、視覚的特徴抽出にCNNバックボーン（例：ResNet101）と、意味的ベクトル表現に事前学習済み言語モデル（例：GloVe）を用いる。
• 組み合わせ係数（α₁, α₂）および損失重み（λ_cal, λ_dstill）などのハイパーパrameterは、寄与のバランスと過学習の防止を目的に調整される。

実験結果

リサーチクエスチョン

• RQ1 双方向アテンション機構は、ゼロショット学習における視覚的特徴と属性特徴の間の内在的意味的表現の発見を改善できるか？
• RQ2 2つのアテンションサブネット間の相互蒸留は、特徴表現の品質向上と知識転送をどのように強化するか？
• RQ3 未学習クラスにおける性能を最大化するための、属性→視覚および視覚→属性アテンションサブネットの最適なバランスは何か？
• RQ4 意味的蒸留損失は、協調学習とゼロショット認識における一般化性能の向上にどのように寄与するか？

主な発見

• MSDNはCUBベンチマークで新たな最先端性能を達成し、ベースライン比で正確性と調和平均がそれぞれ18.7%および19.0%向上した。
• SUNデータセットでは、ベースライン比で正確性が11.0%、調和平均が10.8%向上した。
• アブレーションスタディの結果、2つの相互アテンションサブネットは補完的であることが確認された：一方のサブネットは「下腹部が白い」などの属性を捉え、他方は「コウノトリに似た形状」などの属性を捉えた。
• t-SNE可視化では、MSDNがベースラインに比べ、学習済みクラスおよび未学習クラスの両方でより判別力があり、転送可能な特徴を学習していることが示された。
• 最適な組み合わせ係数は、CUBではα₁=0.9、α₂=0.1、SUNではα₁=0.7、α₂=0.3であり、より高い性能を得るためには属性→視覚アテンションに重みを置くことが有効であることが示された。
• 意味的蒸留損失は性能向上に顕著な寄与を示し、最適な損失重みはCUB/AWA2ではλ_cal=0.1、SUNではλ_cal=0.0、λ_dstill=0.001（CUB/AWA2）および0.01（SUN）であった。