[論文レビュー] Zero Shot Recognition with Unreliable Attributes

Dinesh Jayaraman, Kristen Grauman|arXiv (Cornell University)|Sep 15, 2014

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 176

ひとこと要約

本論文は、属性分類器の受信者操作特性（ROC）を活用することで、属性予測の信頼性の低さを明示的にモデル化するランダムフォレストベースのゼロショット認識手法を提案する。誤り統計と属性アノテーションの不確実性を組み込むことで、3つのベンチマークデータセットにおいて、ゼロショットおよびフェイシュット設定で、未学習クラスに対する一般化性能が著しく向上する。

ABSTRACT

In principle, zero-shot learning makes it possible to train a recognition model simply by specifying the category's attributes. For example, with classifiers for generic attributes like \emph{striped} and \emph{four-legged}, one can construct a classifier for the zebra category by enumerating which properties it possesses---even without providing zebra training images. In practice, however, the standard zero-shot paradigm suffers because attribute predictions in novel images are hard to get right. We propose a novel random forest approach to train zero-shot models that explicitly accounts for the unreliability of attribute predictions. By leveraging statistics about each attribute's error tendencies, our method obtains more robust discriminative models for the unseen classes. We further devise extensions to handle the few-shot scenario and unreliable attribute descriptions. On three datasets, we demonstrate the benefit for visual category learning with zero or few training examples, a critical domain for rare categories or categories defined on the fly.

研究の動機と目的

• オクルージョン、曖昧さ、相関性のため、中間レベルの属性分類器が誤りを犯すゼロショット学習における信頼性の低い属性予測の課題に対処する。
• 予測を真値と見なすのではなく、属性分類器の誤り傾向（例：偽陰性）をモデル化することで、ゼロショット一般化を向上させる。
• 新しいクラスに限って少量のラベル付き画像が利用可能なフェイシュット状況に対応するため、フレームワークを拡張する。
• 真の属性、予測された属性、クラスラベルの間の依存関係を確率的拡張を用いてモデル化することで、信頼性の低いクラス-属性関連性を扱う。
• 属性予測における不確実性を明示的にモデル化することで、より頑健で正確なゼロショット認識モデルが得られることを示す。

提案手法

• 各属性分類器の真正陽性率（TPR）と偽陰性率（FNR）を入力として用いるランダムフォレスト分類器を訓練し、決定木を構築することで、予測誤りに対する耐性を高める。
• 真の属性値と予測スコアの依存関係を考慮することで、正しく予測される確率を高める確率的モデルを用いて、クラス-属性関連統計を統合する。
• 確率的統合モデル $ p(\hat{a}_m(\mathbf{x}), a_m(\mathbf{x}), A_k(m)) = p(\hat{a}_m(\mathbf{x}) \mid a_m(\mathbf{x})) \cdot p(a_m(\mathbf{x}) \mid A_k(m)) \cdot p(A_k(m)) $ を用いて、属性予測の不確実性をモデル化する。
• 実世界のデータでは偽陰性のほうが偽陽性よりも一般的であるため、クロスバリデーションに基づき、属性シグネチャのビット反転を正のビットに限定する。
• 合成データに対してノイズモデリングを適用し、完全な属性スコアに指数分布ノイズを加えることで、分類器の信頼性の低い状態を模擬する。
• 属性シグネチャの再重み付けにより、正しい予測の尤度に基づいて不確実性モデリングを訓練プロセスに統合し、無限に近い数の変種データをシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 新しいクラスに訓練画像が一切存在しない状況で、属性予測の信頼性をモデル化することで、ゼロショット認識性能が向上するか？
• RQ2 属性分類器の誤りパターン（例：高い偽陰性率）を考慮することで、未学習カテゴリへの一般化性能にどのような影響を与えるか？
• RQ3 クラス-属性関連性における不確実性を組み込むことで、完璧な属性予測を仮定する標準的なゼロショット手法よりも性能が向上するか？
• RQ4 少量のラベル付き例（例：1クラスあたり50～100枚）が利用可能なフェイシュット状況下で、本手法はどのように性能を発揮するか？
• RQ5 不確実性モデリングが性能向上に寄与しない状況とはどのようなものか？その理由は何か？

主な発見

• 本手法は、AwA、aPY、SUNの3つのデータセットにおいて、標準的なゼロショット学習ベースラインを著しく上回る性能を示した。これは、属性予測の信頼性の低さを明示的にモデル化したためである。
• AwAデータセットでは、ノイズのある属性予測を用いた場合、ベースラインのDAPモデルに比べて12.3%の絶対的精度向上を達成した。
• SUNデータセットにおけるフェイシュット設定（1クラスあたり50～100枚のラベル付き画像）では、100ショットの属性予測ベースラインを上回った。これは、限られた監視情報のもとでも優れた一般化性能を示している。
• SUNデータセットでは、属性アノテーションの不確実性をモデル化した場合、性能が著しく低下した。これは、属性（例：『登っている』や『屋内』）のクラス内変動が低く、シーンカテゴリに一貫して存在するためである。
• モデルの性能は偽陰性率に対して最も感受性が高く、クロスバリデーションに基づき、正の予測にのみビット反転を制限した場合が最適であった。AwAでは正のビットの15%、aPYでは30%が反転された。
• 合成ノイズ実験の結果、分類器ノイズの増加に対して本手法は頑健であることが確認された。特に属性固有のノイズ条件下では、あらゆるノイズ条件で標準手法を上回った。