[論文レビュー] Transfer Learning for Cross-Dataset Recognition: A Survey

Jing Zhang, Wanqing Li+1 more|arXiv (Cornell University)|May 11, 2017

Domain Adaptation and Few-Shot Learning被引用数 31

ひとこと要約

本調査は、17のクロスデータセット視覚認識課題の問題中心の分類法を提案し、データおよびラベルの属性に応じて、浅層的および深層的転移学習手法を分類する。各課題がどの程度適切に扱われているかを評価することで、研究が不足している分野が明らかになり、実務家が現実の問題を適切な転移学習ソリューションにマッピングするための体系的なフレームワークを提供する。

ABSTRACT

This paper takes a problem-oriented perspective and presents a comprehensive review of transfer learning methods, both shallow and deep, for cross-dataset visual recognition. Specifically, it categorises the cross-dataset recognition into seventeen problems based on a set of carefully chosen data and label attributes. Such a problem-oriented taxonomy has allowed us to examine how different transfer learning approaches tackle each problem and how well each problem has been researched to date. The comprehensive problem-oriented review of the advances in transfer learning with respect to the problem has not only revealed the challenges in transfer learning for visual recognition, but also the problems (e.g. eight of the seventeen problems) that have been scarcely studied. This survey not only presents an up-to-date technical review for researchers, but also a systematic approach and a reference for a machine learning practitioner to categorise a real problem and to look up for a possible solution accordingly.

研究の動機と目的

• クロスデータセット視覚認識のための転移学習手法の体系的整理の欠落を補うために、問題中心の分類法を導入すること。
• クロスデータセット認識における17の分類済み課題のうち、研究が不十分に扱われているものを探ること。
• 研究者および実務家が現実の問題を適切な転移学習技術にマッピングできる体系的なリファレンスを提供すること。
• 多様なクロスデータセット認識シナリオにおいて、浅層的および深層的転移学習アプローチの有効性を評価すること。
• ドメインシフト、ラベル不一致、データ分布の違いといった状況における転移学習の課題を強調すること。

提案手法

• 本稿は、ドメインシフト、ラベル空間の違い、データモダリティなどのデータおよびラベル属性に基づいて、クロスデータセット視覚認識を17の明確に区別できる課題に分類する。
• 浅層的および深層的転移学習手法について包括的なレビューを行い、それぞれの17の課題への適用可能性を分析する。
• 意味のある差別化と現実のシナリオのカバーを確保するため、慎重に選択された属性のセットに基づいて分類法を構築する。
• 各課題における研究進捗を評価し、体系的な分析を通じて既存の文献におけるギャップを同定する。
• 問題の特性から適切な転移学習技術にマッピングするためのリファレンスフレームワークを提供し、実務家が適切な手法を選択できるようにする。

実験結果

リサーチクエスチョン

• RQ1 17の特定されたクロスデータセット視覚認識課題の各々に対して、どの転移学習手法が最も効果的か？
• RQ2 現在の研究状況では、17の課題はどの程度研究されており、どの課題がまだ未開拓の状態にあるか？
• RQ3 データおよびラベル属性がデータセット間で異なる状況で転移学習を適用する際の主な課題は何か？
• RQ4 浅層的および深層的転移学習アプローチは、クロスデータセット認識タスクを処理する際にどのように比較されるか？
• RQ5 現実の視覚認識問題を適切な転移学習ソリューションにマッピングするための基準は何か？

主な発見

• 17のクロスデータセット認識課題のうち8つが研究が著しく不足していることが判明し、現在の文献における大きなギャップが示された。
• 問題中心の分類法により、特定のデータおよびラベル属性の組み合わせに最も適した転移学習手法を明確に特定できるようになった。
• 深層的転移学習手法は、複雑なドメインシフトにおいて優れたパフォーマンスを示すが、課題の種類によってその有効性に顕著な差が見られた。
• 浅層的転移学習手法は、単純な状況やデータが少ない状況においても依然として有効であり、特にラベル空間の不一致が小さい場合には顕著である。
• 本調査では、現在の研究が共通ラベルを伴うドメイン適応といった特定の課題タイプに偏っており、ゼロショットやフェイシュートクロスデータセット認識といった他の課題は研究が不足していることが明らかになった。
• 提案された分類法は、問題固有の属性に基づいて転移学習技術を選択できる実用的なリファレンスとして機能する。