[論文レビュー] A Generalization Error Bound for Multi-class Domain Generalization

Aniket Anand Deshmukh, Yunwen Lei+4 more|arXiv (Cornell University)|May 24, 2019

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 19

ひとこと要約

本稿では、多クラス分類のためのカーネルベースのドメイン一般化手法を提案し、クラス数に対して対数的にスケーリングする一般化誤差バウンドを確立している。これは標準的な多クラス学習における最先端のバウンドと一致する。理論的分析により、クラス数にたいする対数的依存関係が示され、プーリング戦略に対する実験的利点を通じて、手法のロバスト性が裏付けられている。

ABSTRACT

Domain generalization is the problem of assigning labels to an unlabeled data set, given several similar data sets for which labels have been provided. Despite considerable interest in this problem over the last decade, there has been no theoretical analysis in the setting of multi-class classification. In this work, we study a kernel-based learning algorithm and establish a generalization error bound that scales logarithmically in the number of classes, matching state-of-the-art bounds for multi-class classification in the conventional learning setting. We also demonstrate empirically that the proposed algorithm achieves significant performance gains compared to a pooling strategy.

研究の動機と目的

• 多クラスドメイン一般化における理論的分析の不足、特にカーネルベースの手法に対するものに取り組む。
• 教師ありテストデータが入手不可である状況でも、未観測ドメインに一般化できる学習アルゴリズムを開発する。
• クラス数に有利にスケーリングする一般化誤差バウンドを導出する。これは従来の多クラス学習におけるバウンドと一致する。
• ドメイン一般化における標準的なプーリング戦略と比較して、提案手法の性能を実験的に検証する。

提案手法

• 本手法は、特徴量の経験的周辺分布と入力特徴量から、多クラス予測のためのc次元出力空間への写像を実行するカーネルベースの意思決定関数を採用する。
• ドメイン一般化問題を、$\mathcal{P}_{\mathcal{X}} \times \mathcal{X}$ という拡張された特徴空間上での教師あり学習問題として定式化する。ここで $\mathcal{P}_{\mathcal{X}}$ は特徴量の周辺分布を表す。
• 一般化誤差は、ラデマッハ複雑度とアズマ＝マクディアム不等式を用いてバウンドされ、損失のリプシッツ定数とカーネル関数ノルムを組み込む。
• 柔軟な多クラス最適化を可能にするために、損失関数 $\ell: \mathbb{R}^c \times \mathcal{Y} \to \mathbb{R}_+$ のサロゲート損失関数が用いられる。
• 一般化誤差を2つの成分に分解することで理論的バウンドを導出する：経験的リスクからの逸脱と期待リスクからの逸脱。
• 最終的なバウンドは $O(c^{1/2 - 1/\max\{2,p\}} N^{-1/2})$ のスケーリングを示し、クラス数と標本サイズにたいする対数的依存関係を有する。

実験結果

リサーチクエスチョン

• RQ1 カーネル法を用いた多クラスドメイン一般化に対して、理論的一般化誤差バウンドを確立できるか？
• RQ2 ドメイン一般化設定において、一般化誤差はクラス数に対してどのようにスケーリングされるか？
• RQ3 提案されたカーネルベースの手法は、標準的なプーリング戦略を上回る性能を示すか？
• RQ4 周辺分布 $P_X$ はドメイン間での一般化を向上させる役割を果たすか？
• RQ5 カーネル関数ノルムと損失のリプシッツ定数は、一般化バウンドにどのように影響を与えるか？

主な発見

• 一般化誤差バウンドはクラス数にたいして対数的にスケーリングされ、$O(c^{1/2 - 1/\max\{2,p\}})$ のレートを達成しており、これは標準的な多クラス学習における最先端のバウンドと一致する。
• バウンドはドメイン数 $N$ に対して $O(N^{-1/2})$ のスケーリングを示しており、ドメイン多様性の増加に伴う収束を示唆している。
• 実験結果から、提案手法はプーリング戦略に対して顕著な性能向上を示しており、実用的有効性が裏付けられている。
• 理論的分析では、ドメインデータのi.i.d.でない性質を、各ドメインをメタ分布 $\mu$ からのi.i.d.抽出とみなすことによって扱い、ロバスト性を保証している。
• バウンドは経験的リスクからの逸脱と期待リスクからの逸脱の両方を組み込み、ラデマッハ複雑度とアズマ＝マクディアム不等式による高確率制御が行われている。
• 最終的なバウンドには $\log(1/\delta)$ と $\log^{3/2}(\sqrt{2}Nc)$ の項が含まれており、信頼度と複雑度のトレードオフを反映している。