[論文レビュー] Group-realizable multi-group learning by minimizing empirical risk

Navid Ardeshir, Samuel Deng+2 more|arXiv (Cornell University)|Jan 23, 2026

Domain Adaptation and Few-Shot Learning被引用数 0

ひとこと要約

この論文は group-realizable multi-group learning を導入し、 group-realizability コンセプトクラス上で ERM を用いた場合にサンプル複雑さが改善されることを示す一方で、計算上の不可解性を指摘し、代替として不適切学習を提案する。

ABSTRACT

The sample complexity of multi-group learning is shown to improve in the group-realizable setting over the agnostic setting, even when the family of groups is infinite so long as it has finite VC dimension. The improved sample complexity is obtained by empirical risk minimization over the class of group-realizable concepts, which itself could have infinite VC dimension. Implementing this approach is also shown to be computationally intractable, and an alternative approach is suggested based on improper learning.

研究の動機と目的

• group-realizability 仮定の下での multi-group learning の研究動機と統計的効率性の潜在性を説明する。
• group-realizable concept class を定義し、グループごとの誤差管理を狙う学習目的を形式化する。
• 有限の VC 次元を持つ無限のグループ族に対する group-realizability の下でのサンプル複雑さを分析する。
• group-realizable コンセプト上の ERM の計算的難しさを議論し、不適切学習を回避策として提案する。

提案手法

• group-realizable concepts C_G,H のクラスを、G 内の全てのグループ g に対して group-realizability と整合する関数として導入する。
• G が無限でも VC 次元が有限である場合でも、C_G,H 上の ERM がサンプル複雑さを改善することを示す。
• VC-次元に基づくサンプル複雑さの上限を提供し、有限 G の結果と比較して、1/ε のタイプの改善がログ因子まで得られることを強調する。
• ラベル付きデータからデータと整合する c を見つける問題が ONE-IN-THREE SAT への 0 次還元により NP-hard であることを証明する。
• 難しさを回避する方法として不適切学習を提案し、アンサンブル法とオンラインからバッチへの変換を利用する。

実験結果

リサーチクエスチョン

• RQ1 G が無限でありながら有限 VC 次元を持つ場合、group-realizable multi-group learning のサンプル複雑さはどれくらい達成できるか？
• RQ2 group-realizable concept class C_G,H の VC 次元とサンプル複雑さの挙動はどうなるか？
• RQ3 C_G,H 上の ERM は計算的に実現可能か、そして不適切学習はどの程度の難易度を回避できるか？
• RQ4 group-realizability は per-group error の保証の点で標準的 realizability とどのように比較されるか？
• RQ5 ERM が不可解な場合に良い性能を達成する現実的なアプローチ（例：不適切学習）には何があるか？

主な発見

• group-realizable concept class C_G,H 上の ERM は per-group error ε を高確率で達成し、境界は d_G,H と d_G に依存する。
• G が無限であっても VC 次元が有限な場合、サンプル複雑さは 1/ε に対して対数因子程度まで改善され得る。
• データと整合する C_G,H の c を見つけることは NP-hard であり、H のオラクルと多項式サイズの G を仮定しても同様である。
• 不適切学習の下では、アンサンブル法（オンライン学習とオンライン-バッチ変換）を用いることでほぼ同等のサンプル複雑さを達成できる。
• C_G,H が無限の VC 次元を持ち得る一方で、G と H それぞれが有限の VC 次元を持つ場合があり、アグノスティック利用は不可能だが realizable 利用は可能である、という点を論じる。