[論文レビュー] Attribute Prototype Network for Zero-Shot Learning

Wenjia Xu, Yongqin Xian+3 more|arXiv (Cornell University)|Aug 19, 2020

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 8

ひとこと要約

本論文では、属性回帰と相関の低減を通じて、グローバルおよびローカルな画像特徴を同時に学習する弱教師付きフレームワーク、属性プロトタイプネットワーク（APN）を提案する。クラスレベルの属性のみを用いることで、CUB、AWA2、SUNのベンチマークで最先端の性能を達成するとともに、部位アノテーションが不要な状態で正確な属性局所化を実現する。

ABSTRACT

From the beginning of zero-shot learning research, visual attributes have been shown to play an important role. In order to better transfer attribute-based knowledge from known to unknown classes, we argue that an image representation with integrated attribute localization ability would be beneficial for zero-shot learning. To this end, we propose a novel zero-shot representation learning framework that jointly learns discriminative global and local features using only class-level attributes. While a visual-semantic embedding layer learns global features, local features are learned through an attribute prototype network that simultaneously regresses and decorrelates attributes from intermediate features. We show that our locality augmented image representations achieve a new state-of-the-art on three zero-shot learning benchmarks. As an additional benefit, our model points to the visual evidence of the attributes in an image, e.g. for the CUB dataset, confirming the improved attribute localization ability of our image representation.

研究の動機と目的

• 部位アノテーションが不要な状態で、ゼロショット学習における画像表現の局所性を向上させること。
• イエローカラーバッグとイエローベルトといった属性の共起パターンに誤って依存してしまうモデルを歪める、相関する属性（例：イエローカラーバッグとイエローベルト）の問題に対処すること。
• 人間がアノテートした局所的属性関連付けが不要な、クラスレベルの属性とその意味的関連性のみを監視信号として用いる弱教師付き表現学習フレームワークを開発すること。
• 学習された注目マップを通じて、属性の視覚的証拠を画像の関連領域に可視化することで、モデルの解釈可能性を向上させること。
• ゼロショットおよび一般化ゼロショット学習の両設定において、既存手法に比べて一貫した性能向上を達成すること。

提案手法

• 中間層特徴から視覚的属性を回帰することで、局所的かつ判別性の高い表現を学習する属性プロトタイプネットワーク（APN）を提案する。
• 属性プロトタイプ間の統計的依存性を低減するための非相関損失を導入し、学習データ内の誤った相関を緩和する。
• 視覚的・意味的埋め込み層を用いてグローバルな画像特徴を学習する一方で、APNは中間層の監視を通じてローカル特徴を学習する。
• 人間がアノテートした局所的属性関連付けが不要な状態で、クラスレベルの属性とその意味的関連性のみを監視信号として、モデルをエンドツーエンドに訓練する。
• 訓練中に属性間の意味的関連性を活用し、共起するが意味的に異なる属性を区別できるようにモデルを誘導する。
• 学習された属性プロトタイプから注目マップを生成し、属性予測に関連する画像領域へのモデルの注目を可視化・解釈可能にする。

実験結果

リサーチクエスチョン

• RQ1 クラスレベルの属性のみを用いる弱教師付き表現学習フレームワークは、部位アノテーションが不要な状態でゼロショット学習における属性局所化を向上させることができるか？
• RQ2 属性プロトタイプの非相関化は、新規クラスにおける未知の属性組み合わせへの一般化性能にどのように影響するか？
• RQ3 部位アノテーションが存在しない状態でも、モデルは正確かつ解釈可能な属性局所化を達成できるか、その程度はどの程度か？
• RQ4 提案手法は、ゼロショットおよび一般化ゼロショット学習ベンチマークにおいて、既存の最先端手法を上回る性能を示すか？
• RQ5 連続的属性ではなく二値属性を用いる場合でも、アノテーションコストを削減しつつ、モデルは効果的に一般化できるか？

主な発見

• APNモデルは、ゼロショット学習と一般化ゼロショット学習の両設定において、CUB、AWA2、SUNの3つの主要ベンチマークで最先端の性能を達成した。
• CUBデータセットでは、連続的属性を用いた場合の部位局所化精度が52.8%、二値属性を用いた場合が52.1%であり、属性アノテーションタイプにかかわらず高いロバスト性を示した。
• 最近の弱教師付き局所化手法よりも部分検出性能が優れており、局所性と一般化能力の向上を確認した。
• 連続的属性を用いた場合、学習済みクラスでは86.4%、未学習クラスでは85.7%の属性予測精度を達成し、未知の属性組み合わせへの強力な一般化能力を示した。
• 定性的な分析から、APNモデルの注目マップは、胸、頭、翼などの関連する鳥の部位を正確に強調しており、解釈可能性と属性局所化の向上を裏付けた。
• 二値属性に対してもモデルは良好に一般化し、学習済みクラスでは86.8%の属性予測精度を達成した。これは連続的属性を用いた86.4%の性能と同等であり、アノテーションタイプに依存しない高い性能を示した。