[논문 리뷰] Bounding the Fat Shattering Dimension of a Composition Function Class Built Using a Continuous Logic Connective

Hubert Haoyang Duan|arXiv (Cornell University)|2011. 05. 23.

Machine Learning and Algorithms참고 문헌 16인용 수 7

한 줄 요약

이 논문은 연속 논리 연결자—즉, 균일 연속 함수 $u: [0,1]^k \to [0,1]$—를 사용해 $k$개의 기본 함수 클래스에 적용하여 구성된 복합 함수 클래스에 대해 스케일 $\epsilon$에 대한 Fat Shattering 차원에 대한 정량적 경계를 설정한다. Mendelson-Vershynin과 Talagrand의 결과를 활용하여, 복합 클래스의 Fat Shattering 차원이 스케일 $\delta(\epsilon,k)$에서 개별 클래스들의 Fat Shattering 차원의 합으로 유계임을 증명하며, 절대 상수를 제외한 상수 배수로 표현된다. 이는 복잡한 함수 클래스의 학습 가능성 분석을 PAC 프레임워크 내에서 구성적으로 가능하게 한다.

ABSTRACT

We begin this report by describing the Probably Approximately Correct (PAC) model for learning a concept class, consisting of subsets of a domain, and a function class, consisting of functions from the domain to the unit interval. Two combinatorial parameters, the Vapnik-Chervonenkis (VC) dimension and its generalization, the Fat Shattering dimension of scale e, are explained and a few examples of their calculations are given with proofs. We then explain Sauer's Lemma, which involves the VC dimension and is used to prove the equivalence of a concept class being distribution-free PAC learnable and it having finite VC dimension. As the main new result of our research, we explore the construction of a new function class, obtained by forming compositions with a continuous logic connective, a uniformly continuous function from the unit hypercube to the unit interval, from a collection of function classes. Vidyasagar had proved that such a composition function class has finite Fat Shattering dimension of all scales if the classes in the original collection do; however, no estimates of the dimension were known. Using results by Mendelson-Vershynin and Talagrand, we bound the Fat Shattering dimension of scale e of this new function class in terms of the Fat Shattering dimensions of the collection's classes. We conclude this report by providing a few open questions and future research topics involving the PAC learning model.

연구 동기 및 목표

• 개념 클래스에서 함수 클래스로의 PAC 학습 가능성의 특성화를 확장하기 위해, Fat Shattering 차원을 통한 조합적 복잡도 분석을 수행한다.
• 연속 논리적 조합으로 구성된 함수 클래스에 대한 Fat Shattering 차원에 대한 정량적 경계의 부재를 해결한다.
• 복합 함수 클래스의 Fat Shattering 차원을 구성 요소 클래스들의 차원에 대해 구성적으로 추정한다.
• 통계 학습 이론에서 함수 클래스에 대한 추상적 학습 가능성 기준과 구체적이고 계산 가능한 복잡도 측도 사이의 격차를 메운다.

제안 방법

• 기본 클래스 $\mathcal{F}_i$에서 온 함수들을 연속 논리 연결자 $u: [0,1]^k \to [0,1]$를 통해 조합하여 새로운 함수 클래스 $u(\mathcal{F}_1, \ldots, \mathcal{F}_k)$를 구성한다.
• Mendelson-Vershynin의 메트릭 엔트로피 및 코팅 수에 관한 결과를 적용하여 복합 함수 클래스의 복잡도를 제어한다.
• Talagrand의 Glivenko-Cantelli 클래스와 쇼터링에 대한 특성화를 활용하여 Fat Shattering 차원과 함수 클래스의 메트릭 엔트로피를 연결한다.
• 복합 클래스 $u(\mathcal{F}_1, \ldots, \mathcal{F}_k)$에 대해 스케일 $\epsilon$의 Fat Shattering 차원에 대한 경계를, 조정된 스케일 $\delta(\epsilon,k)$에서의 $\mathcal{F}_i$의 Fat Shattering 차원에 대해 유도한다.
• 조정된 스케일 $\delta(\epsilon,k)$에서 개별 클래스들의 Fat Shattering 차원의 합에 대해 선형으로 증가하는 경계를 확립하며, 절대 상수를 제외한 상수 배수로 표현된다.

실험 결과

연구 질문

• RQ1 연속 논리 연결자를 통해 구성된 함수 클래스의 Fat Shattering 차원은 그 구성 요소 클래스들의 Fat Shattering 차원과 어떻게 관련이 있는가?
• RQ2 복합 클래스의 Fat Shattering 차원에 대한 명시적 상한을 구성 요소 클래스의 차원에 대해 유도할 수 있는가?
• RQ3 경계가 함수의 수 $k$와 스케일 $\epsilon$에 따라 어떻게 의존하는가를 정량화할 수 있는가?
• RQ4 연속 연결자를 통한 복합화가 분포에 무관한 PAC 설정에서 원래 함수 클래스의 학습 가능성 성질을 유지하는가?

주요 결과

• 복합 함수 클래스 $u(\mathcal{F}_1, \ldots, \mathcal{F}_k)$의 스케일 $\epsilon$에 대한 Fat Shattering 차원은 스케일 $\delta(\epsilon,k)$에서 $\mathcal{F}_1, \ldots, \mathcal{F}_k$의 Fat Shattering 차원의 합에 대한 상수 배수로 유계이다.
• 스케일 $\delta(\epsilon,k)$는 $\epsilon$과 $k$에만 의존하며, 연결자 $u$의 연속성 모듈러스에서 유도된다.
• 경계는 Mendelson-Vershynin의 메트릭 엔트로피 추정과 Talagrand의 Glivenko-Cantelli 클래스에 대한 구조적 결과를 활용하여 확립된다.
• 이 결과는 간단한 함수 클래스들을 연속 논리 연산으로 조합하여 만든 복잡한 함수 클래스의 학습 가능성 분석을 구성적으로 가능하게 한다.
• 경계는 $\epsilon$과 $k$에 대한 점근적 의존성을 유지하며, $u$의 구체적 형태에 관계없이 균일 연속성 외에는 영향을 받지 않기 때문에 타당성이 높다.