[論文レビュー] Learning Attributes Equals Multi-Source Domain Generalization

Chuang Gan, Tianbao Yang+1 more|arXiv (Cornell University)|May 3, 2016

Domain Adaptation and Few-Shot Learning参考文献 67被引用数 33

ひとこと要約

本稿では、各オブジェクトカテゴリをドメインとして扱う多源ドメイン一般化として属性検出を定式化することで、新しいアプローチを提案する。中心化カーネル整合性と非教師付きドメイン不変成分分析（UDICA）を統合することで、カテゴリに依存しない属性特徴を学習し、既視および未見のクラスにわたる一般化性能を向上させる。この手法により、AWA、CUB、UCF101データセットにおけるゼロショット学習およびマルチ属性画像検索の性能が顕著に向上する。

ABSTRACT

Attributes possess appealing properties and benefit many computer vision problems, such as object recognition, learning with humans in the loop, and image retrieval. Whereas the existing work mainly pursues utilizing attributes for various computer vision problems, we contend that the most basic problem---how to accurately and robustly detect attributes from images---has been left under explored. Especially, the existing work rarely explicitly tackles the need that attribute detectors should generalize well across different categories, including those previously unseen. Noting that this is analogous to the objective of multi-source domain generalization, if we treat each category as a domain, we provide a novel perspective to attribute detection and propose to gear the techniques in multi-source domain generalization for the purpose of learning cross-category generalizable attribute detectors. We validate our understanding and approach with extensive experiments on four challenging datasets and three different problems.

研究の動機と目的

• 既存のコンピュータビジョン手法における、強固でカテゴリをまたがる一般化可能な属性検出器の欠如に対処すること。
• 属性検出を多源ドメイン一般化問題として再定式化し、各オブジェクトカテゴリを別個のドメインとして扱うこと。
• オブジェクトカテゴリの境界を打ち破る特徴表現を構築し、未見のクラスへの一般化を向上させること。
• より良い属性検出を通じて、ゼロショット認識やマルチ属性画像検索などの下流タスクを改善すること。
• 提案手法の有効性を、多様なデータセットおよびタスクにおいて検証すること。

提案手法

• 各オブジェクトカテゴリをドメインとして扱い、属性検出を多源ドメイン一般化問題として再定式化する。
• ドメイン（カテゴリ）分布のばらつきを最小化するため、UDICAをコアフレームワークとして用いる。
• UDICAにおける逆共分散演算の代替として、安定的かつ効率的な中心化カーネル整合性を導入し、属性ラベル情報を取り込む。
• 元の特徴からカテゴリに依存しない信号と属性を識別する信号を抽出するカーネル射影を学習する。
• SVMなどの標準分類器と互換性のある変換済み特徴ベクトルを出力し、頑健な属性検出器の学習を可能にする。
• 学習された表現を、ゼロショット学習やマルチ属性画像検索を含む下流タスクに適用する。

実験結果

リサーチクエスチョン

• RQ1 属性検出を多源ドメイン一般化問題として効果的に定式化することで、カテゴリをまたがる一般化性能を向上させることができるか？
• RQ2 UDICAに中心化カーネル整合性を統合することで、属性検出に向けた特徴の識別力をどのように向上させることができるか？
• RQ3 提案手法は、ベースライン手法と比較して、未見のカテゴリにおける属性検出精度をどの程度向上させるか？
• RQ4 向上した属性検出は、ゼロショット認識やマルチ属性画像検索などの下流タスクにおいて、測定可能な向上をもたらすか？
• RQ5 本手法は、視覚的に曖昧な属性や自明な属性を含む多様なデータセットおよび属性タイプにおいて、どの程度の性能を示すか？

主な発見

• 提案手法KDICAは、DAPおよびUDICAと比較して、標準的手法では容易に検出できない困難な属性において、顕著に高い属性検出精度を達成する。
• AWAデータセットでは、後期統合を用いた単一属性画像検索において、KDICAが84.4%のAUCを達成し、VGG（78.9%）およびUDICA（83.9%）を上回る。
• ゼロショット学習において、AWA、CUB、UCF101のすべてで最先端のシステムを上回り、特にAWAで最大の向上を示す。
• KDICAはUDICAよりもゼロショット学習において、属性検出そのものよりも顕著な向上を示すため、より良い属性検出器が下流タスクの向上を強化することが示唆される。
• 属性ペアやトリオのタグに対してはわずかな向上を示すが、単一属性クエリでは顕著な改善を示し、より単純なクエリに対して強い利点を示す。
• 「イエロー」や「泳ぐ」などの属性は、それぞれ高いベースライン精度やカテゴリ間の視覚的類似性のため、改善が限定的である。