[論文レビュー] Attribute Adaptive Margin Softmax Loss using Privileged Information

Seyed Mehdi Iranmanesh, Ali Dabouei+1 more|arXiv (Cornell University)|Sep 4, 2020

Face recognition and analysis参考文献 37被引用数 8

ひとこと要約

本稿では、深層度画像学習におけるクラスの不均衡と特徴の判別力不足の課題を解決するため、トレーニング中にのみ利用可能なソフトバイオメトリック属性（例：性別、髪の色）を特権情報として活用し、クラスのマージンを動的に調整する新しい損失関数、Attribute Adaptive Margin Softmax Loss (ATAM) を提案する。属性に基づく適応的マージンを学習することで、特徴の判別性を向上させ、クラスの不均衡を軽減し、最小限のアーキテクチャ変更で顔認識および人物再識別タスクにおいて最先端の性能を達成する。

ABSTRACT

We present a novel framework to exploit privileged information for recognition which is provided only during the training phase. Here, we focus on recognition task where images are provided as the main view and soft biometric traits (attributes) are provided as the privileged data (only available during training phase). We demonstrate that more discriminative feature space can be learned by enforcing a deep network to adjust adaptive margins between classes utilizing attributes. This tight constraint also effectively reduces the class imbalance inherent in the local data neighborhood, thus carving more balanced class boundaries locally and using feature space more efficiently. Extensive experiments are performed on five different datasets and the results show the superiority of our method compared to the state-of-the-art models in both tasks of face recognition and person re-identification.

研究の動機と目的

• 認識タスクにおける深層度画像学習のクラス不均衡と限界的な判別力の課題に対処すること。
• トレーニング時のみ利用可能なソフトバイオメトリック属性（例：性別、髪の色）を特権情報として活用し、特徴学習を改善すること。
• 固定マージンではなく、属性情報に基づいてクラスごとに適応的マージンを学習する損失関数を開発すること。
• 特に少数クラスや視覚的変動が大きいクラスにおいて、クローズドセットおよびオープンセット認識プロトコルの両方で性能を向上させること。
• 推論時における属性情報の必要なしに、不均衡データセット上で本手法の有効性を示すこと。

提案手法

• 属性埋め込みに基づいてマージン $ m $ を適応的かつ学習可能にするように標準的なソフトマックス損失を変更した、新たな損失関数である Attribute Adaptive Margin Softmax Loss (ATAM) を導入する。
• トレーニング中に属性埋め込みからクラス固有のマージンを予測するマルチタスクヘッドを用い、ネットワークがどのクラスに大きなまたは小さなマージンが必要かを学習できるようにする。
• 交差エントロピー損失を用いて、特徴埋め込みと適応的マージン予測を同時に最適化するエンドツーエンドの学習を実施する。
• 補助損失関数を追加せずに、標準的なCNNバックボーン（例：ResNet-50）およびマルチグレインラティチュードネットワーク（例：MGN）にATAM損失を統合する。
• 属性情報がトレーニング時のみに使用されることを保証し、標準的な推論パイプラインを維持する。
• 標準的な評価プロトコルと指標を用いて、顔認識および人物再識別タスクの両方に対して本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 トレーニング時のみに利用可能な特権属性情報が、認識タスクにおける深層特徴の判別力を向上させることができるか？
• RQ2 属性を用いてクラスごとに適応的マージンを学習することで、固定マージン手法と比較して一般化性能が向上し、クラス内分散が低減するか？
• RQ3 少数クラスが視覚的に変動が大きい不均衡データセットにおいて、提案されたATAM損失はどのように性能を発揮するか？
• RQ4 推論時における属性情報の必要なしに、および追加損失関数の使用なしに、ATAMが最先端の性能を達成できるか？
• RQ5 適応的マージンの使用が、オープンセット認識シナリオにおいてどの程度性能向上に寄与するか？

主な発見

• MGN + ATAM モデルは、DukeMTMC-reID における人物再識別タスクで 97.1% の R-1 正答率および 88.3% の mAP を達成し、複数の損失関数を用いた最先端手法を上回った。
• Market-1501 では、MGN + ATAM モデルが 95.1% の R-1 正答率および 86.5% の mAP を達成し、同じバックボーンを用いた AMSoftmax や CircleLoss を使用するモデルを上回った。
• 単一の損失関数を用いても、Market-1501 で 95.1% の R-1 正答率および 86.5% の mAP を達成し、補助損失関数なしで強力な性能を示した。
• トレーニング時と推論時両方で属性を用いる APR や AANet-50 よりも優れた性能を示し、トレーニング時のみに使用される特権情報の有効性を裏付けた。
• 適応的マージン機構により、クラス内分散が顕著に低減され、特に少数クラスや高変動性クラスの局所的クラス境界のバランスが改善された。
• 広範なアブレーション実験により、属性に基づくマージン適応が、5つの多様なデータセットにおいて特徴の判別性と一般化性能を顕著に向上させたことが確認された。