[論文レビュー] One-Shot Adaptation of Supervised Deep Convolutional Models

Judy Hoffman, Eric Tzeng+4 more|arXiv (Cornell University)|Dec 24, 2013

Domain Adaptation and Few-Shot Learning被引用数 14

ひとこと要約

この論文は、多様なデータセットで訓練された大規模な教師あり深層畳み込みニューラルネットワーク（CNN）が、最小限の適応で新しいドメインに一般化できるかどうかを調査する。各クラスに対して1つのラベル付き例のみを用いるワンショット適応手法を提案し、視覚的ドメイン適応ベンチマークで顕著な性能向上を示している。データセットバイアスは依然として存在するが、最小限のデータで効果的な適応が可能であることが示された。

ABSTRACT

Dataset bias remains a significant barrier towards solving real world computer vision tasks. Though deep convolutional networks have proven to be a competitive approach for image classification, a question remains: have these models have solved the dataset bias problem? In general, training or fine-tuning a state-of-the-art deep model on a new domain requires a significant amount of data, which for many applications is simply not available. Transfer of models directly to new domains without adaptation has historically led to poor recognition performance. In this paper, we pose the following question: is a single image dataset, much larger than previously explored for adaptation, comprehensive enough to learn general deep models that may be effectively applied to new image domains? In other words, are deep CNNs trained on large amounts of labeled data as susceptible to dataset bias as previous methods have been shown to be? We show that a generic supervised deep CNN model trained on a large dataset reduces, but does not remove, dataset bias. Furthermore, we propose several methods for adaptation with deep models that are able to operate with little (one example per category) or no labeled domain specific data. Our experiments show that adaptation of deep models on benchmark visual domain adaptation datasets can provide a significant performance boost.

研究の動機と目的

• 実世界のコンピュータビジョン応用における深層学習におけるデータセットバイアスの課題に対処すること。
• 多様なデータで訓練された大規模な教師ありCNNが、依然としてデータセットバイアスに苦しむかどうかを調査すること。
• ターゲットドメインからのラベル付きデータをほとんどまたは全く必要としない適応技術を開発すること。
• 分類ごとに1つのラベル付き例のみを用いて、深層モデルを新しい画像ドメインに効果的に転送すること。

提案手法

• 汎用的な深層CNNを大規模なラベル付きデータセットで訓練し、汎用的な特徴を学習する。
• ターゲットドメインで各クラスに対して1つのラベル付き例のみを用いて、モデルを微調整するドメイン適応技術を適用する。
• 最小限の監視のもとで、ソースドメインとターゲットドメインの分布を特徴空間で整合させる戦略を活用する。
• 事前学習済みモデルの階層的特徴表現を活用し、ゼロショットまたはワンショット一般化を改善する。
• メトリクス学習や特徴正規化を用いて適応を実施し、ドメインシフトを低減する。
• ターゲットドメインのアノテーションが限られた標準的な視覚的ドメイン適応ベンチマークで、適応性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模なデータセットで訓練された深層CNNは、最小限の適応で新しいドメインに効果的に一般化できるか？
• RQ2 広範な事前学習がなされたにもかかわらず、大規模な教師あり深層モデルにおいてデータセットバイアスはどの程度残存するか？
• RQ3 ターゲットドメインで各クラスに対して1つのラベル付き例のみを用いても、効果的な適応が達成できるか？
• RQ4 提案された適応手法は、低データ環境下で標準的な微調整や転移学習と比べてどのように異なるか？

主な発見

• 大規模な教師あり深層CNNは依然としてデータセットバイアスを示しており、事前学習だけではドメインシフトを完全に解消できないことが示された。
• ワンショット適応手法は、ベンチマークとして用いられる視覚的ドメイン適応データセットにおける認識精度を顕著に向上させた。
• 提案された適応手法は、ターゲットドメインで各クラスに対して1つのラベル付き例しか使用しなくても、顕著な性能向上を達成した。
• 限られたリソースのドメイン適応状況では、最小限のデータを用いた適応が、直接的な転送や標準的な微調整を上回る性能を発揮した。