[논문 리뷰] Learning convex polytopes with margin

Lee-Ad Gottlieb, Eran Kaufman외 2명|arXiv (Cornell University)|2018. 05. 24.

Machine Learning and Algorithms참고 문헌 27인용 수 6

한 줄 요약

이 논문은 최적의 다면체에 포함된 반공간의 수인 $ t $ 에 대해 약 $ t \log t $ 개의 반공간의 교차로 일致하는 다면체를 구성함으로써, 마진을 가진 볼록 다면체를 다항시간 알고리즘으로 학습하는 방법을 제시한다. 이 방법은 표본 및 런타임 효율성을 향상시키며, 초평면를 넘어서 기하학적 일반화된 마진 개념을 도입하고 분석한다.

ABSTRACT

We present an improved algorithm for properly learning convex polytopes in the realizable PAC setting from data with a margin. Our learning algorithm constructs a consistent polytope as an intersection of about $t \log t$ halfspaces with margins in time polynomial in $t$ (where $t$ is the number of halfspaces forming an optimal polytope). We also identify distinct generalizations of the notion of margin from hyperplanes to polytopes and investigate how they relate geometrically; this result may be of interest beyond the learning setting.

연구 동기 및 목표

• 실현 가능한 PAC 설정에서 마진을 가진 볼록 다면체를 효율적이고 적절한 학습 알고리즘으로 개발하기 위해.
• 최적의 다면체 크기와 비교해 반공간의 수를 줄이되, 마진 제약 조건을 유지하기 위해.
• 초평면에서 다면체로의 마진 개념을 일반화하고 그 기하학적 함의를 분석하기 위해.
• 최적 다면체의 크기인 $ t $ 에 대해 다항시간 런타임과 표본 복잡도를 달성하기 위해.

제안 방법

• 알고리즘은 학습 데이터와 일致하는 $ O(t \log t) $ 개의 반공간의 교차로 다면체를 구성한다.
• 각 반공간이 마진에 기여하도록 보장함으로써, 선형 분리자에서 다면체 경계로의 마진 개념을 일반화한다.
• 볼록 집합의 기하학적 및 조합적 성질을 활용하여, $ t $ 에 대해 다항시간 내에 구성 작업을 수행한다.
• 모든 반공간에서 마진을 유지하는 일致하는 가설 선택 전략을 사용한다.
• 거리에서 경계까지의 거리 및 서포트 함수 기반 측정법과 같은 다면체에 대한 여러 기하학적 변형 마진을 도입하고 분석한다.

실험 결과

연구 질문

• RQ1 최적 크기의 하위선형 수의 반공간을 사용해 마진을 가진 볼록 다면체를 효율적으로 학습할 수 있는 방법은 무엇인가?
• RQ2 초평면에서 다면체로 확장할 때 의미 있는 기하학적 마진 일반화는 무엇인가?
• RQ3 다면체의 다양한 마진 정의는 기하학적으로 어떻게 관련되어 있으며, 학습 성능에 어떤 영향을 미치는가?
• RQ4 적절한 학습을 유지하면서도 마진을 가진 다면체의 다항시간 학습이 가능할 수 있는가?

주요 결과

• 알고리즘이 최적의 다면체에 비해 훨씬 적은 $ O(t \log t) $ 개의 반공간만을 사용해 일치하는 다면체를 구성한다.
• 알고리즘의 런타임은 최적 다면체에 포함된 반공간 수인 $ t $ 에 대해 다항식이다.
• 논문은 다면체에 대한 여러 기하학적 마진 일반화를 식별하고 분석하며, 그 상호관계를 밝혀냈다.
• 제안된 마진 일반화는 학습 이론을 넘어서 더 풍부한 기하학적 이해를 제공하며, 다양한 응용에 적용 가능하다.