[논문 리뷰] Group-realizable multi-group learning by minimizing empirical risk

Navid Ardeshir, Samuel Deng외 2명|arXiv (Cornell University)|2026. 01. 23.

Domain Adaptation and Few-Shot Learning인용 수 0

한 줄 요약

이 논문은 그룹-실현 가능한 멀티-그룹 학습을 도입하고 ERM을 통해 그룹-실현 가능 컨셉 클래스에서의 샘플 복잡도가 개선됨을 보이며, 계산적 실행 가능성은 측정 불가능하다고 주의하고 대안으로 불완전 학습을 제안한다.

ABSTRACT

The sample complexity of multi-group learning is shown to improve in the group-realizable setting over the agnostic setting, even when the family of groups is infinite so long as it has finite VC dimension. The improved sample complexity is obtained by empirical risk minimization over the class of group-realizable concepts, which itself could have infinite VC dimension. Implementing this approach is also shown to be computationally intractable, and an alternative approach is suggested based on improper learning.

연구 동기 및 목표

• 그룹-실현 가능성 가정 하에서 멀티-그룹 학습의 연구와 그 잠재적 통계적 효율성의 동기를 제시한다.
• 그룹-실현 가능 컨셉 클래스의 정의와 각 그룹의 오차 제어를 목표로 하는 학습 목적을 형식화한다.
• 유한 VC 차원을 가진 무한한 그룹 가족에 대해 그룹-실현 가능성 하의 샘플 복잡성을 분석한다.
• 그룹-실현 가능 컨셉에 대한 ERM의 계산적 난이도를 논의하고 대안으로 불완전 학습을 제시한다.

제안 방법

• G의 모든 그룹 g에 대해 그룹-실현 가능성과 일치하는 함수들로 구성된 그룹-실현 가능 컨셉 클래스 C_G,H를 도입한다.
• C_G,H에 대한 ERM이 샘플 복잡도를 개선한다는 것을 보이는데, G가 무한하더라도 VC 차원이 유한하면 개선이 가능하다.
• VC 차원에 기반한 샘플 복잡도 경계를 제공하고 유한-G 결과와 비교하며 1/ε 형태의 개선이 로그 인자까지 가능함을 강조한다.
• 레이블된 샘플이 주어졌을 때 C_G,H에서 일관된 c를 찾는 것이 NP-난해함을 ONE-IN-THREE SAT로의 환산으로 증명한다.
• 난해함을 우회하는 방법으로 불완전 학습을 제안하고, 앙상블 방법과 온라인-에서 배치로의 변환을 활용한다.

실험 결과

연구 질문

• RQ1 G가 무한하고 VC 차원이 유한할 때 그룹-실현 가능 멀티-그룹 학습에서 달성할 수 있는 샘플 복잡도는 얼마인가?
• RQ2 그룹-실현 가능 컨셉 클래스 C_G,H의 VC 차원과 샘플 복잡도 특성은 어떠한가?
• RQ3 C_G,H에 대한 ERM이 계산적으로 다루기 가능한가, 그리고 불완전 학습이 어떤 난해함을 우회할 수 있는가?
• RQ4 그룹-실현 가능성이 표준 실현 가능성과 비교하여 각 그룹당 오류 보장 측면에서 어떻게 다른가?
• RQ5 ERM이 다루기 어려울 때 좋은 성능을 달성하기 위한 실용적 접근법(예: 불완전 학습)은 무엇인가?

주요 결과

• C_G,H 그룹-실현 가능 컨셉 클래스에 대한 ERM은 높은 확률로 각 그룹당 오류 ε를 달성하며, 경계는 d_G,H 및 d_G에 의존한다.
• G가 무한하고 VC 차원이 유한하면 1/ε에 로그 인자까지 개선된 샘플 복잡도가 달성 가능하다.
• H에 대한 오라클과 다항 크기의 G를 갖더라도 데이터와 일치하는 C_G,H의 c를 찾는 것이 NP-난해하다.
• 불완전 학습 하에서 온라인 학습 및 온라인에서 배치 변환을 통한 앙상블 방법으로 거의 비슷한 샘플 복잡도를 달성할 수 있다.
• C_G,H는 G와 H가 유한 VC 차원을 가진 경우에도 무한 VC 차원을 가질 수 있어 애고스틱 사용은 불가능하지만 실현 가능 사용은 가능하다고 논의한다.