[論文レビュー] Hybrid-Attention based Decoupled Metric Learning for Zero-Shot Image Retrieval

Binghui Chen, Weihong Deng|arXiv (Cornell University)|Jul 27, 2019

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 6

ひとこと要約

本稿では、ゼロショット画像検索における特徴の識別性と一般化性能を向上させるために、統合的メトリック学習をオブジェクト注目とチャネル注目サブラーナーに分離するハイブリッドアテンションベースのフレームワーク、デカップドルドメトリック学習（DeML）を提案する。ランダムウォークベースのオブジェクト注目と敵対的チャネル注目を用いることで、DeMLはCUB、CARS、Stanford Online Products、In-Shopの各ベンチマークで最先端手法を大きく上回り、より高いロバストネスと神経ネットワークの冗長性低減を示している。

ABSTRACT

In zero-shot image retrieval (ZSIR) task, embedding learning becomes more attractive, however, many methods follow the traditional metric learning idea and omit the problems behind zero-shot settings. In this paper, we first emphasize the importance of learning visual discriminative metric and preventing the partial/selective learning behavior of learner in ZSIR, and then propose the Decoupled Metric Learning (DeML) framework to achieve these individually. Instead of coarsely optimizing an unified metric, we decouple it into multiple attention-specific parts so as to recurrently induce the discrimination and explicitly enhance the generalization. And they are mainly achieved by our object-attention module based on random walk graph propagation and the channel-attention module based on the adversary constraint, respectively. We demonstrate the necessity of addressing the vital problems in ZSIR on the popular benchmarks, outperforming the state-of-theart methods by a significant margin. Code is available at http://www.bhchen.cn

研究の動機と目的

• ゼロショット画像検索（ZSIR）における不十分な視覚的入力と部分的／選択的学習行動という、メトリックの識別性と一般化性能を阻害する根本的問題に対処すること。
• 統合的メトリック学習を注目特化サブラーナーに分離することで、特徴の識別性を明示的に向上させ、多様性を促進すること。
• 複数の注目ヘッド間での補完的知識学習を促進することで、学習済みカテゴリへの過学習と神経ネットワークの冗長性を軽減すること。
• ハードサンプルマイニングや複雑なサンプルペア構築に依存しない、モデルに依存しないフレームワークの開発。
• 明示的なメトリック学習の分離が、ゼロショット一般化性能の向上に必要かつ有効であることを検証すること。

提案手法

• 最終全結合層を複数のオブジェクト注目ルートラーナーとチャネル注目サブラーナーに分離し、注目特化学習を可能にする。
• オブジェクト注目モジュール（OAMs）は、ランダムウォークグラフ伝播を用いて自動的に顕著な視覚的領域を同定し、特徴の識別性を向上させる。
• チャネル注目モジュール（CAMs）は敵対的損失（$L_{adv}$）で制約され、多様性を促進し、全ラーナーが同じ簡単な特徴に集中するのを防ぐ。
• クロッピングとズームの共同処理を用いて、局所化と表現の向上を図るマルチスケール特徴を生成する。
• 本手法はモデルに依存せず、既存の深層メトリック学習パイプラインに簡単にドロップインモジュールとして統合可能である。
• 最終的な表現は、複数の注目特化ラーナーからの予測を集約することで形成され、ロバストネスと一般化性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 不十分な視覚的入力は、ゼロショット画像検索における特徴の識別能力にどのように影響するか？
• RQ2 深層モデルにおける部分的／選択的学習行動は、未学習クラスへの一般化性能をどの程度劣化させるか？
• RQ3 統合的メトリック学習を注目特化サブラーナーに分離することで、ZSIRにおける識別性と一般化性能の両方を向上させられるか？
• RQ4 チャネル注目モジュールに敵対的制約を課すことで、神経冗長性を効果的に低減し、特徴の多様性を向上させられるか？
• RQ5 提案されたDeMLフレームワークは、複数のベンチマークにおける検索精度の観点で、最先端手法と比べてどのように差がつくか？

主な発見

• DeML(I=1, J=8) は、CUBで59.0% R@1、CARSで82.5% R@1を達成し、ベースラインのU512（50.9% および 67.1%）および他の最先端手法を顕著に上回っている。
• 敵対的損失（$L_{adv}$）を適用しない場合、DeMLの性能はCUBで52.0% R@1、CARSで68.2% R@1に急激に低下し、多様性の強制が極めて重要であることが示された。
• 敵対的損失を除去した場合、チャネル注目ラーナー間のコサイン類似度は -0.09 から 0.92 に上昇し、損失が冗長性を効果的に低減し、補完的学習を促進していることが確認された。
• 8つのチャネル注目ラーナーを用いても、$L_{adv}$ がないと性能は低く抑えられ、独立した監視により類似した特徴に過学習し、一般化性能の向上に失敗することが示された。
• Stanford Online Productsでは、DeML(I=2, J=4) が十分であり、2番目のスケールで既に顕著な領域を効果的に局所化していることが判明した。
• アブレーションスタディにより、オブジェクト注目とチャネル注目モジュールの両方が必要であり、それらの組み合わせが全データセットで最良の性能を達成することが確認された。