[論文レビュー] Hierarchical Feature Embedding for Attribute Recognition

Jie Yang, Jiarou Fan+5 more|arXiv (Cornell University)|May 23, 2020

Video Surveillance and Tracking Methods参考文献 56被引用数 6

ひとこと要約

本論文は、属性レベルとアイデンティティ（ID）レベルの特徴埋め込みを同時に最適化することで、属性認識を向上させる階層的特徴埋め込み（HFE）フレームワークを提案する。新しいHFE損失を用いてクラス間（属性）とクラス内（ID）の制約を統合し、絶対境界正則化と動的損失重み付けを組み合わせることで、歩行者および顔属性データセットで最先端の性能を達成した。交差エントロピー基準と比較して、正確性で7.98%、F1スコアで5.40%の向上を達成した。

ABSTRACT

Attribute recognition is a crucial but challenging task due to viewpoint changes, illumination variations and appearance diversities, etc. Most of previous work only consider the attribute-level feature embedding, which might perform poorly in complicated heterogeneous conditions. To address this problem, we propose a hierarchical feature embedding (HFE) framework, which learns a fine-grained feature embedding by combining attribute and ID information. In HFE, we maintain the inter-class and intra-class feature embedding simultaneously. Not only samples with the same attribute but also samples with the same ID are gathered more closely, which could restrict the feature embedding of visually hard samples with regard to attributes and improve the robustness to variant conditions. We establish this hierarchical structure by utilizing HFE loss consisted of attribute-level and ID-level constraints. We also introduce an absolute boundary regularization and a dynamic loss weight as supplementary components to help build up the feature embedding. Experiments show that our method achieves the state-of-the-art results on two pedestrian attribute datasets and a facial attribute dataset.

研究の動機と目的

• 視点の変化、照明の変化、隠蔽などの複雑な変動下における属性認識の課題に対処すること。
• 属性ラベルに加えてアイデンティティ（ID）情報を活用することで、頑健性と細分化された識別能を向上させること。
• クラス間（属性）とクラス内（ID）のクラスタリングを維持する階層的特徴空間を構築し、より特徴のコンパクトさと分離性を高めること。
• 絶対境界正則化と動的損失重み付けを用いて、訓練の安定性と特徴空間の質を向上させること。

提案手法

• クラス間（属性）制約とクラス内（ID）制約の両方を満たす2つのトリプレット損失を組み合わせた階層的特徴埋め込み（HFE）損失を提案する。
• トリプレット損失の相対的距離学習を補完する絶対距離制約を強制する絶対境界正則化（ABR）を導入する。
• 訓練の進行に従って徐々に増加する動的損失重みを採用し、初期の特徴空間からHFE最適化済みの空間への滑らかな移行を支援する。
• 損失計算にクintピレットサンプリングを用い、訓練の進行に伴い変化する特徴空間に適応した選択を行う。
• 属性とアイデンティティのための別々の特徴表現を維持し、同じ埋め込み空間に直接統合しない。
• 属性分類のための交差エントロピー損失と、識別的な特徴学習のためのHFE損失を用いて、エンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 属性認識にアイデンティティ情報を統合することで、外見の変化や隠蔽下でも頑健性が向上するか？
• RQ2 属性レベルとIDレベルの制約を統合した階層的特徴埋め込みは、より特徴のコンパクトさと分離性を実現するか？
• RQ3 絶対境界正則化は、標準的なトリプレット損失に比べて特徴空間の質をどのように向上させるか？
• RQ4 動的損失重み付けは、階層的特徴学習における訓練の安定性と収束性を向上させることができるか？

主な発見

• HFEフレームワークは、2つの歩行者属性データセットおよびCelebA顔属性データセットで最先端の性能を達成し、CelebAでは92.17%の正確性を達成した。
• クラス間とクラス内の制約を統合することで、平均正確性が4.08%向上、トップ1正確性が7.98%向上、F1スコアが5.40%向上した。
• クラス内損失（$L_{intra}$）がクラス間損失（$L_{inter}$）よりも顕著に寄与しており、ハードサンプルの処理においてIDレベルのクラスタリングが極めて重要であることが示された。
• 絶対境界正則化（ABR）は、絶対距離制約を強制することでマージン分離性を高め、性能向上に寄与した。
• 動的損失重みメカニズムは訓練の安定性を高め、初期から最適化済みの特徴空間への滑らかな移行を可能にした。
• 可視化による定性的評価では、HFEがクラス間およびクラス内レベルでより緊密で識別性の高いクラスタを生成していることが確認され、特に分類が難しいサンプルにおいて顕著であった。