[論文レビュー] MIC: Mining Interclass Characteristics for Improved Metric Learning

Karsten Roth, Biagio Brattoli+1 more|arXiv (Cornell University)|Sep 25, 2019

Advanced Image and Video Retrieval Techniques参考文献 41被引用数 17

ひとこと要約

本稿では、視点、色、方向性などの共有されたクラス間特徴を別個の補助エンコーダーを用いて明示的にモデル化することで、メトリクス学習を向上させるMICという手法を提案する。この補助エンコーダーは、代替クラスタリングタスクを介して訓練され、メイン分類器との相互情報量を低減することで、よりコン act で、より頑健な埋め込みを実現する。MICは、5つの画像検索ベンチマークにおいて、最先端の手法を著しく上回る性能を達成する。

ABSTRACT

Metric learning seeks to embed images of objects suchthat class-defined relations are captured by the embeddingspace. However, variability in images is not just due to different depicted object classes, but also depends on other latent characteristics such as viewpoint or illumination. In addition to these structured properties, random noise further obstructs the visual relations of interest. The common approach to metric learning is to enforce a representation that is invariant under all factors but the ones of interest. In contrast, we propose to explicitly learn the latent characteristics that are shared by and go across object classes. We can then directly explain away structured visual variability, rather than assuming it to be unknown random noise. We propose a novel surrogate task to learn visual characteristics shared across classes with a separate encoder. This encoder is trained jointly with the encoder for class information by reducing their mutual information. On five standard image retrieval benchmarks the approach significantly improves upon the state-of-the-art.

研究の動機と目的

• 視点や照明といった構造的要因によるクラス内ばらつきを、しばしばノイズとして扱うメトリクス学習における課題に対処すること。
• オブジェクトクラス間で共有される視覚的特徴を明示的にモデル化することで、ゼロショットおよびフェイントショット検索における一般化性能を向上させること。
• クラス固有の特徴から共有されるクラス間特性を分離することで、学習された埋め込みのクラス内ばらつきを低減すること。
• 追加のアノテーションを必要としない自己教師付き代替タスクを開発し、補助エンコーダーの訓練を可能にすること。
• 分離表現学習を用いた構造的不変性学習を統合することで、標準的なメトリクス学習フレームワークを強化すること。

提案手法

• 二重エンコーダー構造により、クラス判別特徴（α）と共有されたクラス間特徴（β）を分離し、Eαは真のラベルで、Eβは代替タスクで訓練する。
• 代替タスクは、各クラスごとに特徴を標準化し、標準化された埋め込みに対してクラスタリングを適用することで、共有特徴のクラスタベースのラベルを生成する。
• 補助エンコーダーEβは、これらのクラスタラベルの再構成を学習することで、追加のアノテーションが不要な状態で、構造的なクラス間特徴を学習する。
• 勾配反転層と相互情報量損失を適用して、EβからEαへの情報漏洩れを最小限に抑え、Eαが非判別的共有特徴を含まないことを保証する。
• 標準的なメトリクス学習損失（例：トリプレット損失、ProxyNCA）と組み合わせて、EαおよびEβの目的関数を同時に最適化する。
• Eβのクラスタラベルは、訓練中に定期的に更新され、進化する特徴表現を反映させることで、共有特徴モデルの質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 視点や色といった明示的な共有クラス間視覚的特徴のモデル化が、メトリクス学習の性能向上に寄与するか。
• RQ2 クラス固有の特徴と共有視覚的特徴を分離することで、ゼロショット検索におけるクラス内compactnessと一般化性能にどのような影響を与えるか。
• RQ3 標準化とクラスタリングに基づく自己教師付き代替タスクが、クラス間特徴の学習に与える影響は何か。
• RQ4 主エンコーダーと補助エンコーダー間の相互情報量正則化が、特徴の分離と頑健性にどのように寄与するか。
• RQ5 クラスタ数やラベル更新頻度といったハイパーパrameterの選択に、手法の性能がどれほど敏感かは。

主な発見

• 提案されたMIC手法は、CUB200-2011、CARS196、Stanford Online Products、In-Shop Clothes、PKU VehicleIDの5つの標準的画像検索ベンチマークで最先端の性能を達成した。
• CUB200-2011では、トリプレット損失と組み合わせた場合、Recall@1が66.1%に向上し、以前のSOTA手法を上回った。
• アブレーションスタディにより、クラスタリング、標準化、相互情報量損失のすべての要素が不可欠であることが確認され、完全なモデルではCARS196で82.6%のRecall@1を達成した。
• Eβが標準化と相互情報量を用いて訓練された場合、クラス内ばらつきが顕著に低減され、クラスのcompactnessが向上した。
• ハイパーパrameterの選択に対して頑健である：クラスタ数の変動（±1%のRecall@1以内）や、1〜10エポックのラベル更新頻度においても、安定した結果が得られた。
• ProxyNCA や半ハードマイニングを用いたトリプレット損失を含む、複数のメトリクス学習損失において一貫して性能向上を示し、一般化可能性を確認した。