[논문 리뷰] Approximate is Good Enough: Probabilistic Variants of Dimensional and Margin Complexity

Pritish Kamath, Omar Montasser외 1명|arXiv (Cornell University)|2020. 03. 09.

Machine Learning and Algorithms참고 문헌 23인용 수 5

한 줄 요약

이 논문은 차원 복잡도와 마진 복잡도의 확률적 변종을 도입한다—즉, 가설 클래스를 표현할 때 작은 오차를 허용하는 근사적이고 랜덤화된 임bedding이다. 이 개념들이 선형 또는 커널 방법을 통한 학습에 대해 필수적이고도 충분함을 증명하며, 기존의 정확한 복잡도 측정 방식보다 커널 방법의 한계에 대해 더 날카로운 하한을 제공한다.

ABSTRACT

We present and study approximate notions of dimensional and margin complexity, which correspond to the minimal dimension or norm of an embedding required to approximate, rather then exactly represent, a given hypothesis class. We show that such notions are not only sufficient for learning using linear predictors or a kernel, but unlike the exact variants, are also necessary. Thus they are better suited for discussing limitations of linear or kernel methods.

연구 동기 및 목표

• 커널 방법의 능력을 평가하는 데 있어 기존의 차원 복잡도와 마진 복잡도의 한계를 해결하기 위해.
• 실제 머신 러닝 환경을 반영하기 위해 근사와 랜덤화를 포함한 선형 또는 커널 방법을 통한 학습을 체계화하기 위해.
• 정확한 변형과는 달리, 근사적이고 랜덤화된 임베딩이 이러한 학습에 필수적일 뿐 아니라 충분함을 입증하기 위해.
• 기존에 잘 알려진 복잡도 측정 방식을 사용하여 커널 기반 학습의 표본 복잡도에 대한 통합된 프레임워크를 제공하기 위해.
• Yehudai와 Shamir(2019)가 제기한 문제들처럼 딥 러닝과 커널 방법 간의 비교에서 열려 있는 질문들을 해결하기 위해.

제안 방법

• 근사(오차 ε)와 랜덤화를 허용하는 차원 복잡도(dcε)와 마진 복잡도(mcε)의 확률적 변종을 제안한다.
• 특정 데이터 분포 하에서 일반화 성능을 분석하기 위해 분포 의존적 및 분포 독립적 버전의 이러한 복잡도를 정의한다.
• 기본적인 일반화 한계를 사용하여 새로운 복잡도 측정 방식과 '보장된' 선형/커널 학습(gLinε, gKerε) 간의 동치성을 확립한다.
• 통계적 질의(SQ) 차원과 최소 고유값 차원(minEV-dim)을 사용하여 dcε의 하한을 도출하며, 기존의 복잡도 측정 방식과 연결한다.
• 유한 차원 또는 노름 유계 임베딩을 통한 학습에 대해 dcε가 필수적임을 증명하여, 강력한 하한 도구로 활용함을 보여준다.
• 기존의 커널 방법 한계에 대한 하한을 강화하기 위해 이 프레임워크를 적용하며, 특히 0/1 손실 및 제곱 손실 설정에서 유의미하다.

실험 결과

연구 질문

• RQ1 근사적이고 랜덤화된 특징 매핑은 정확하고 결정적인 임베딩보다 커널 방법의 한계를 더 정확하게 기술할 수 있는가?
• RQ2 근사와 랜덤화를 통해 학습 가능한 가설 클래스 중, 정확한 표현을 통해선 학습이 불가능한 클래스가 존재하는가?
• RQ3 새로운 복잡도 측정 방식을 사용하여 커널 기반 학습의 표본 복잡도에 대해 날카롭고 일반적인 하한을 도출할 수 있는가?
• RQ4 새로운 확률적 복잡도 측정 방식과 VC 차원, 통계적 질의 차원과 같은 기존 개념 간의 관계는 무엇인가?
• RQ5 이 프레임워크는 Yehudai와 Shamir(2019)가 제기한 딥 러닝 대비 커널 방법 논문에서 열려 있는 질문들을 해결할 수 있는가?

주요 결과

• 확률적 차원 복잡도 dcε는 근사적 선형 또는 커널 방법을 통한 분포 의존적 학습에 대해 필수적이고도 충분하다.
• 0/1 손실의 경우, dcε는 기존의 정확한 차원 복잡도보다 지수적으로 작을 수 있으며, 이는 근사가 필요한 임베딩 차원을 크게 줄임을 보여준다.
• 분포 의존적 근사적 차원 복잡도 dcεD,ℓ은 가설 클래스의 VC 차원에 의해 상한으로 제한된다.
• 제곱 손실의 경우, dcεD,ℓsq는 최소 고유값 차원에 의해 하한으로 제한되며, 이는 통계적 질의 차원에 의해 다시 하한으로 제한되므로 강력한 하한을 도출할 수 있다.
• 이 프레임워크는 Yehudai와 Shamir(2019)의 문제를 해결하여, 새로운 복잡도 측정 방식을 사용해 그들의 하한을 강화함으로써 이를 강화한다.
• 복잡도 이론적 장벽이 존재한다: 명시적 클래스에 대해 dcεD,ℓ01에 대해 초다항 하한이 존재한다면, 이는 깊이 2의 임계값 회로에 대해 초다항 하한이 존재함을 의미하며, 이는 오랫동안 열려 있던 문제이다.