[論文レビュー] Fine-grained Recognition in the Wild: A Multi-Task Domain Adaptation Approach

Timnit Gebru, Judy Hoffman+1 more|arXiv (Cornell University)|Sep 7, 2017

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 8

ひとこと要約

本稿では、実世界のシナリオにおける細分化認識のためのマルチタスクドメイン適応フレームワークを提案する。カテゴリ間で共有される属性を活用することで一般化性能を向上させる。カテゴリと属性レベルの適応を同時に学習することで、109万5千枚の画像と2,657のカテゴリを有する大規模な自動車データセットにおいて、半教師あり設定で精度を4.1%から19.1%まで向上させる。

ABSTRACT

While fine-grained object recognition is an important problem in computer vision, current models are unlikely to accurately classify objects in the wild. These fully supervised models need additional annotated images to classify objects in every new scenario, a task that is infeasible. However, sources such as e-commerce websites and field guides provide annotated images for many classes. In this work, we study fine-grained domain adaptation as a step towards overcoming the dataset shift between easily acquired annotated images and the real world. Adaptation has not been studied in the fine-grained setting where annotations such as attributes could be used to increase performance. Our work uses an attribute based multi-task adaptation loss to increase accuracy from a baseline of 4.1% to 19.1% in the semi-supervised adaptation case. Prior do- main adaptation works have been benchmarked on small datasets such as [46] with a total of 795 images for some domains, or simplistic datasets such as [41] consisting of digits. We perform experiments on a subset of a new challenging fine-grained dataset consisting of 1,095,021 images of 2, 657 car categories drawn from e-commerce web- sites and Google Street View.

研究の動機と目的

• 校正済みデータセットで学習したモデルが実世界の設定で失敗する、細分化オブジェクト認識におけるドメインシフトの課題に対処する。
• 実世界の画像にラベルを付けるコストが高いため、eコマースサイトやフィールドガイドから入手可能な安価な既存のラベル付きデータを活用する。
• 一部のターゲットドメインのクラスにのみラベルが存在するが、属性は多数のクラスにわたって利用可能であるという半教師あり適応を可能にする。
• 細分化カテゴリ間の階層的関係を共有属性を通じて活用し、知識の転送を向上させる。
• eコマースおよびストリートビューのデータソースから得た109万5千枚の画像と2,657の自動車カテゴリを用いて、細分化ドメイン適応のための大規模ベンチマークを構築する。

提案手法

• 共通の畳み込みニューラルネットワーク（CNN）アーキテクチャ内で、カテゴリレベルと属性レベルの分類を同時に最適化するマルチタスク学習目的関数を提案する。
• 共有特徴エンコーダーに加え、カテゴリと属性の予測用に別々のヘッドを設け、ソースドメインとターゲットドメインの特徴を一致させるためのドメイン対抗損失を導入する。
• ソースモデルを正則化し、ターゲットドメインへの一般化を向上させる属性ベースの適応損失を導入する。
• ターゲットドメインでの属性ラベルが利用可能であることを活かして、カテゴリラベルが希少な状況でも学習を支援する半教師あり適応を実装する。
• 属性（例：ボディタイプ、メーカー）は細分化カテゴリよりも一貫性を持ってラベル付けされているため、特定のクラスが未学習であっても転移が可能であることを活用する。
• ソースデータに対する教師あり損失とドメイン間の分布シフトを最小限に抑えるための対抗的ドメインアライメントを組み合わせてモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 共有属性を用いたマルチタスク適応は、ラベル付きデータが限られた実世界のターゲットドメインにおいて、細分化認識のパフォーマンスを顕著に向上させるか？
• RQ2 属性レベルとカテゴリレベルの両方で同時に学習することは、ドメインシフトを軽減する点で、単一タスク適応と比較して優れているか？
• RQ3 この手法は自動車データセットにとどまらず、WordNetからの階層的ラベルを持つ他の細分化ドメインにも一般化可能か？
• RQ4 性能向上の度合いが、特にローショット状況下で、各クラスのラベル付きサンプル数にどの程度依存するか？
• RQ5 半教師あり適応設定において、カテゴリレベルのラベルが欠落している場合に、属性レベルの監視がそれを補完できるか？

主な発見

• 提案手法によるマルチタスク適応により、自動車データセットの半教師あり適応設定でゼロショット精度が4.1%から19.1%まで向上した。
• ベースライン[49]と比較して、保留されたカテゴリでは75%の改善率を達成し、未学習状態のターゲットクラスの66%がパフォーマンス向上を示した。
• ラベル付きソース画像の数が少ないクラスで性能向上が顕著に現れ、ラベル数と性能向上の間には相関係数-0.29が観察された。
• マルチタスクモデルの特徴活性化を用いることで、ターゲットドメインにおける近い近傍の検索がより正確に行えるようになり、ベースライン[49]を上回った。
• 属性ラベル数が多いクラス（例：ミニバン、SUV）では最大の精度向上が見られ、リソースが限られたクラス（例：クルーブック、57枚のラベル付き画像のみ）ではパフォーマンス低下が生じた。
• この手法は他のデータセットにも一般化可能である：追加のWordNetベースのラベルを用いることで、Officeデータセットでもパフォーマンスが向上したが、自動車データセットほど大きな向上は得られなかった。