[論文レビュー] Classifying Unseen Instances by Learning Class-Independent Similarity Functions

Ziming Zhang, Venkatesh Saligrama|arXiv (Cornell University)|Nov 14, 2015

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 3

ひとこと要約

本稿では、ソースドメインとターゲットドメインのインスタンス間の一致の事後確率をモデル化することで、ゼロショット認識（ZSR）のためのクラスに依存しない類似度関数を提案する。辞書学習に基づく統合的判別学習フレームワークを用い、4つのベンチマークデータセットにおいて最先端手法を4.90%上回る精度を達成し、ゼロショットリtrievalのmAPを22.45%向上させる。

ABSTRACT

Zero-shot recognition (ZSR) deals with the problem of predicting class labels for target domain instances based on source domain side information (e.g. attributes) of unseen classes. We formulate ZSR as a binary prediction problem. Our resulting classifier is class-independent. It takes an arbitrary pair of source and target domain instances as input and predicts whether or not they come from the same class, i.e. whether there is a match. We model the posterior probability of a match since it is a sufficient statistic and propose a latent probabilistic model in this context. We develop a joint discriminative learning framework based on dictionary learning to jointly learn the parameters of our model for both domains, which ultimately leads to our class-independent classifier. Many of the existing embedding methods can be viewed as special cases of our probabilistic model. On ZSR our method shows 4.90\% improvement over the state-of-the-art in accuracy averaged across four benchmark datasets. We also adapt ZSR method for zero-shot retrieval and show 22.45\% improvement accordingly in mean average precision (mAP).

研究の動機と目的

• 属性などのソースドメインの付加情報のみを用いて未学習のクラスを分類しなければならないゼロショット認識（ZSR）の課題に対処する。
• 既存手法の限界を克服するため、ZSRをクラスに依存しない二値マッチ予測問題として定式化する。
• ソースドメインおよびターゲットドメインの両方の類似度関数を統合的に学習するための統一された確率的モデルを開発する。
• クラスアイデンティティに依存しない潜在的類似度関数を学習することで、ZSRにおける一般化性能を向上させる。
• ゼロショットリtrievalに拡張し、既存手法を上回る平均平均精度（mAP）を向上させる。

提案手法

• ZSRを二値分類タスクとして定式化：ソース・ターゲットインスタンスペアが同じクラスに属するかどうかを予測する。
• マッチの事後確率を意思決定のための十分統計量としてモデル化する。
• インスタンス間のクラスに依存しない類似度を捉える潜在的確率的モデルを提案する。
• 両ドメインのパラメータを同時に最適化するための辞書学習に基づく統合的判別学習フレームワークを開発する。
• クラス固有の特徴ではなく構造的類似性に注目することで、未学習クラスへの一般化を可能にする共有表現を学習する。
• 学習済み類似度関数を再利用することで、フレームワークをゼロショットリtrievalに適応する。

実験結果

リサーチクエスチョン

• RQ1 クラスに依存しない類似度関数は、クラス固有のモデルと比較してゼロショット認識性能を向上させることができるか？
• RQ2 マッチの事後確率をモデル化することで、ゼロショット学習における一般化性能がどのように向上するか？
• RQ3 ソースドメインとターゲットドメイン間で統合的辞書学習を適用することで、類似度推定がどの程度向上するか？
• RQ4 提案手法は、測定可能なmAPの向上が得られるゼロショットリtrievalタスクに効果的に拡張可能か？
• RQ5 精度と一般化性能の観点から、既存の埋め込みベースの手法と比較して、本手法はどのように差をつけるか？

主な発見

• 提案手法は、4つのベンチマークゼロショット認識データセットにおいて、最先端手法を4.90%上回る平均精度を達成する。
• 共有構造的パターンに依存するクラスに依存しない類似度関数を学習することで、未学習クラスへの一般化が良好に実現される。
• 統合的辞書学習フレームワークにより、ソースドメインとターゲットドメイン間での効果的なパラメータ共有が可能となり、ロバストネスが向上する。
• ゼロショットリtrievalに適応した場合、従来手法と比較して平均平均精度（mAP）が22.45%向上する。
• 多くの既存の埋め込みベース手法が、提案された確率的モデルの特殊ケースであることが示され、その一般性が裏付けられる。
• 事後マッチ確率のモデル化により、直接分類ベースラインと比較して、より信頼性が高く、キャリブレーションされた予測が得られる。