[論文レビュー] Domain Generalization in Vision: A Survey

Kaiyang Zhou, Ziwei Liu+3 more|arXiv (Cornell University)|Mar 3, 2021

Domain Adaptation and Few-Shot Learning参考文献 251被引用数 67

ひとこと要約

このサーベイは、コンピュータビジョン分野におけるドメイン一般化（DG）を包括的にレビューしており、分布外一般化を向上させるために、ドメインアライメント、メタラーニング、データ拡張、アンサンブル学習などの手法をカバーしている。2011年以降の10年間の進展をもとに、DGのアプローチを体系的に分類し、関連分野と関連づけ、今後の研究方向性を提示している。

ABSTRACT

Generalization to out-of-distribution (OOD) data is a capability natural to humans yet challenging for machines to reproduce. This is because most learning algorithms strongly rely on the i.i.d.~assumption on source/target data, which is often violated in practice due to domain shift. Domain generalization (DG) aims to achieve OOD generalization by using only source data for model learning. Since first introduced in 2011, research in DG has made great progresses. In particular, intensive research in this topic has led to a broad spectrum of methodologies, e.g., those based on domain alignment, meta-learning, data augmentation, or ensemble learning, just to name a few; and has covered various vision applications such as object recognition, segmentation, action recognition, and person re-identification. In this paper, for the first time a comprehensive literature review is provided to summarize the developments in DG for computer vision over the past decade. Specifically, we first cover the background by formally defining DG and relating it to other research fields like domain adaptation and transfer learning. Second, we conduct a thorough review into existing methods and present a categorization based on their methodologies and motivations. Finally, we conclude this survey with insights and discussions on future research directions.

研究の動機と目的

• 分布外（OOD）一般化の課題に対処すること。これは、ドメインシフトによってモデルが失敗するためのものである。
• ドメイン一般化（DG）を形式的に定義し、ドメイン適応やトランスファーラーニングといった関連分野と区別すること。
• その背後にある手法や動機に基づいて、DG手法を体系的に分類すること。
• 2011年から発表時までの10年間にわたり、DG研究の進化と最先端の状況を要約すること。
• ビジョン応用におけるDGの未解決課題を特定し、今後の研究方向性を提案すること。

提案手法

• 本論文は、コンピュータビジョンにおけるDG手法について、十数年の研究を分析する包括的な文献レビューを実施している。
• DGアプローチをドメインアライメント、メタラーニング、データ拡張、アンサンブル学習などの手法的グループに分類している。
• DGと関連分野（ドメイン適応、トランスファーラーニングなど）との概念的リンクを確立し、違いや関係性を明確にしている。
• ドメインシフトの最小化やモデル不変性の向上といった動機に基づいて、手法を評価している。
• 物体認識、セマンティックセグメンテーション、アクション認識、人物再識別といったビジョンタスクへの応用を含む分析を行っている。
• 多様な手法からの知見を統合し、現在のDG研究における共通の原則と限界を特定している。

実験結果

リサーチクエスチョン

• RQ1 ドメイン一般化はどのように正式に定義され、ドメイン適応やトランスファーラーニングとはどのように異なるのか？
• RQ2 コンピュータビジョンにおけるDGアプローチの主な手法的カテゴリーは何であり、それらの背後にある動機は何か？
• RQ3 2011年の導入以降、DG研究でどの程度の進展が見られ、メソドロジーにおける主要なトレンドは何か？
• RQ4 どのビジョン応用がDG技術によって最も恩恵を受けたのか？また、それらを拡張する際の主な課題は何か？
• RQ5 DG研究における未解決問題と有望な今後の研究方向性は何か？

主な発見

• ドメイン一般化は、ドメインアライメント、メタラーニング、データ拡張、アンサンブル学習といった多様な手法を含む成熟した研究分野に発展した。
• 本サーベイでは、ドメインアライメント手法がドメイン固有の特徴を最小化することでドメイン不変表現を学習することを目的としていると特定している。
• メタラーニングベースのDG手法は、未観測ドメインに一般化できるモデル初期化または最適化戦略を学習することに焦点を当てている。
• DGにおけるデータ拡張技術は、ドメインシフトをシミュレートし、訓練中のロバスト性を向上させることを目的として設計されている。
• DGにおけるアンサンブル学習アプローチは、異なるドメインで訓練された複数のモデルの予測を統合することで一般化性能を向上させている。
• 本サーベイは、顕著な進展が見られたものの、複雑なドメインシフトをモデル化し、多様なビジョンタスクにわたり信頼性の高い分布外一般化を達成するという課題が依然として残っていると結論づけている。