[論文レビュー] Energy Confused Adversarial Metric Learning for Zero-Shot Image Retrieval and Clustering

Binghui Chen, Weihong Deng|arXiv (Cornell University)|Jan 22, 2019

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 4

ひとこと要約

本論文は、深層度画像埋め込みの一般化能力を明示的に向上させることで、ゼロショット画像検索およびクラスタリングの性能を向上させる、新しい正則化フレームワークであるEnergy Confused Adversarial Metric Learning (ECAML)を提案する。過学習を防ぐために、学習済みクラスのバイアスに過剰に適合することを意図的に妨げる敵対的エネルギー混乱項を導入することで、ECAMLは耐障害性と一般化性能を向上させ、CUB、CARS、Stanford Online Products、In-Shopベンチマークにおいて最先端の性能を達成した。

ABSTRACT

Deep metric learning has been widely applied in many computer vision tasks, and recently, it is more attractive in \emph{zero-shot image retrieval and clustering}(ZSRC) where a good embedding is requested such that the unseen classes can be distinguished well. Most existing works deem this 'good' embedding just to be the discriminative one and thus race to devise powerful metric objectives or hard-sample mining strategies for leaning discriminative embedding. However, in this paper, we first emphasize that the generalization ability is a core ingredient of this 'good' embedding as well and largely affects the metric performance in zero-shot settings as a matter of fact. Then, we propose the Energy Confused Adversarial Metric Learning(ECAML) framework to explicitly optimize a robust metric. It is mainly achieved by introducing an interesting Energy Confusion regularization term, which daringly breaks away from the traditional metric learning idea of discriminative objective devising, and seeks to 'confuse' the learned model so as to encourage its generalization ability by reducing overfitting on the seen classes. We train this confusion term together with the conventional metric objective in an adversarial manner. Although it seems weird to 'confuse' the network, we show that our ECAML indeed serves as an efficient regularization technique for metric learning and is applicable to various conventional metric methods. This paper empirically and experimentally demonstrates the importance of learning embedding with good generalization, achieving state-of-the-art performances on the popular CUB, CARS, Stanford Online Products and In-Shop datasets for ZSRC tasks. extcolor[rgb]{1, 0, 0}{Code available at http://www.bhchen.cn/}.

研究の動機と目的

• 既存の度画像埋め込み学習手法が、一般化制約が明示的にないため、学習済みクラスのバイアスに過学習するというゼロショット画像検索およびクラスタリング（ZSRC）における重要な制限を解消すること。
• 学習された埋め込みの一般化能力を単なる識別性の向上を超えて向上させることで、ZSRC性能が顕著に向上するかどうかを調査すること。
• さまざまな既存の度画像埋め込み学習フレームワークにスムーズに統合可能な、プラグアンドプレイ型の正則化技術を開発すること。
• 訓練中にエネルギー混乱項を用いてモデルを意図的に混乱させることで、未学習クラスに有用な補完的で一般化可能な知識の探索が促進されることを示すこと。

提案手法

• 訓練中に異なるクラスの埋め込み間の期待ユークリッド距離を増加させることで、モデルをランダムに混乱させるエネルギー混乱（EC）正則化項を導入する。
• 従来の度画像埋め込み目的関数（例：トリプレット、Nペア、バイノミアル損失）と併せて、敵対的アプローチでEC項を適用し、二重最適化目的関数を構築する：度画像埋め込み損失を最小化すると同時に、混乱度を最大化する。
• エンドツーエンドの訓練中に、従来の度画像埋め込み損失とEC正則化損失のバランスを取るために、学習可能なハイパーパrameter λ を使用する。
• EC項の計算に確率的サンプリング戦略を採用し、異なるクラスの画像ペアをランダムに選択することで、モデルが表面的で識別性の高い特徴に過剰に依存しないようにする。
• 見慣れたクラスの偏ったヘッド特徴に過剰に適合することを防ぐために、容易に分離可能な特徴に対する過剰な自信を抑えるようにEC項を設計する。
• 学習済みクラスのバイアスによって誘発される悪い局所最適解から脱出できるように最適化プロセスを設計し、未学習クラスに有用なより抽象的で一般化可能な表現の発見を促進する。

実験結果

リサーチクエスチョン

• RQ1 深層度画像埋め込みの一般化能力を明示的に向上させることで、ゼロショット画像検索およびクラスタリングの性能が向上するか？
• RQ2 学習済みクラスのバイアスへの過学習を妨げる敵対的混乱メカニズムが、未学習クラスへの耐障害性と転送性を向上させるか？
• RQ3 ECAMLフレームワークは、一般化性能およびゼロショット転送性能の観点から、従来の度画像埋め込み学習手法と比べてどのように差をつけるか？
• RQ4 ECAMLフレームワークは、アーキテクチャの変更なしに、さまざまな度画像埋め込み目的関数（例：トリプレット、Nペア、バイノミアル損失）にどの程度一般化可能か？
• RQ5 エネルギー混乱項が、表面的でクラス固有のパターンではなく、抽象的で一般化可能な特徴を学習する能力にどのような影響を与えるか？

主な発見

• ECAMLは、CUB、CARS、Stanford Online Products、In-Shopの4つのベンチマークデータセットにおいて、すべてのベースライン度画像埋め込み学習手法（トリプレット、N-Pair、バイノミアル）の性能を一貫して向上させた。
• CUBデータセットでは、ECAML(Binomial)がR@1: 55.7%、R@2: 66.5%、R@4: 76.7%、R@8: 85.1%、NMI: 61.8%、F1: 30.5%を達成し、すべてのリストアップされた最先端手法を上回った。
• In-Shopデータセットでは、ECAML(Binomial)がR@1: 83.8%、R@10: 95.1%、R@20: 96.6%、R@30: 97.3%、R@40: 97.7%、R@50: 98.0%を達成し、新たな最先端結果を樹立した。
• バイノミアル損失を用いたECAMLフレームワークが、In-ShopおよびStanford Online ProductsでBIEとHDCといった特別に最適化された最先端モデルでさえも上回る最良の全体的性能を達成した。
• アブレーションスタディの結果、エネルギー混乱項が学習済みクラスのバイアスへの過学習を効果的に低減し、未学習クラスへの一般化能力を向上させることを確認した。
• 本手法は、さまざまな度画像埋め込み目的関数に普遍的に適用可能で、プラグアンドプレイ型正則化技術としての強力な一般化性能と耐障害性を示した。