[논문 리뷰] Learning convex bodies is hard

Navin Goyal, Luis Rademacher|ArXiv.org|2009. 04. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 9인용 수 19

한 줄 요약

이 논문은 $ℝ^d$ 내의 볼록체를 $\epsilon$-대칭 차이로 학습하기 위해 필요한 랜덤 샘플 수에 대해 초다항(lower) 하한을 확립하며, $2^{\Omega(\sqrt{d/\epsilon})}$개의 샘플이 필요하다고 보여준다. 저자들은 오류 수정 코드와 크로스 단체에 대한 피크 조작을 이용해 명시적인 볼록체의 가족을 구성하여, 이들을 구분할 수 있는 알고리즘이 이보다 적은 샘플 수로는 성립하지 않음을 증명함으로써, 균일한 랜덤 샘플로부터 볼록체를 학습하는 데서 발생하는 본질적 어려움을 입증한다.

ABSTRACT

We show that learning a convex body in $\RR^d$, given random samples from the body, requires $2^{Ω(\sqrt{d/\eps})}$ samples. By learning a convex body we mean finding a set having at most $\eps$ relative symmetric difference with the input body. To prove the lower bound we construct a hard to learn family of convex bodies. Our construction of this family is very simple and based on error correcting codes.

연구 동기 및 목표

• 주어진 대칭 차이 오차 $\epsilon$에 대해 $ℝ^d$ 내 볼록체를 학습하기 위해 필요한 최소 랜덤 샘플 수를 결정하는 것.
• 계산적 제약이 없더라도, 균일한 랜덤 샘플로부터 볼록체를 학습하는 것이 정보 이론적으로 어렵다는 것을 보여주는 것.
• 오류 수정 코드와 크로스 단체에 대한 기하학적 변형을 이용해 명시적이고 학습하기 어려운 볼록체의 가족을 구성하는 것.
• 멤버십 오라클에 접근할 수 있는 경우조차도, 볼록체를 학습하는 데 $\sqrt{d}$에 대해 지수적으로 많은 샘플이 필요하다는 것을 보여주며 문제의 본질적 어려움을 부각하는 것.

제안 방법

• d차원 크로스 단체의 면에 작은 피크를 부착하여 볼록체의 기본 가족을 구성하며, 각 피크가 볼록성을 유지할 수 있도록 충분히 작게 하되, 총 부피가 탐지 가능할 정도로 충분히 크도록 보장한다.
• 오류 수정 코드를 사용하여 이러한 볼록체의 부분 가족을 선택하여, 임의의 두 볼록체가 부피의 일정 비율에서 다름을 보장함으로써 대칭 차이가 크도록 한다.
• 이 볼록체들의 통계적 구별 불가능성 분석: 피크 탐지의 희박성으로 인해 다항하한 수의 랜덤 샘플로는 이러한 두 볼록체를 신뢰성 있게 구별할 수 없다.
• 합집합 확률과 부피 집중을 기반으로 한 확률적 추론을 적용하여, $q$개의 샘플로 정확한 볼록체를 식별할 확률이 $1/2$ 이하일 뿐 아니라, $q \geq 2^{\Omega(\sqrt{d/\epsilon})}$가 되어야 함을 보여준다.
• 어느 알고리즘이나 볼록체를 학습할 수 있다면 그 부피를 추정할 수 있으며, 이를 바탕으로 알려진 부피 추정 하한을 활용해 주요 결과를 유도한다.
• 볼록체 위의 균일 분포 간의 총 변동 거리로 학습 문제를 수리적으로 정의하고, 랜덤 볼록체와 랜덤 샘플에 대한 성공 확률을 정의한다.

실험 결과

연구 질문

• RQ1 균일한 랜덤 샘플로 $ℝ^d$ 내 볼록체를 $\epsilon$-대칭 차이로 학습하기 위해 필요한 최소 수의 샘플은 얼마인가?
• RQ2 하나의 알고리즘이 하향 지수적 샘플 크기로는 이들을 구별할 수 없는, 명시적이고 학습하기 어려운 볼록체의 가족을 구성할 수 있는가?
• RQ3 멤버십 오라클에 접근할 수 있는 경우조차도, 볼록체 학습의 정보 이론적 샘플 복잡도가 $\sqrt{d}$에 대해 지수적으로 높은가?
• RQ4 오류 수정 코드의 사용이 어떻게 대칭 차이에서 서로 멀리 떨어져 있으면서도 소수의 샘플로 통계적으로 구별 불가능한 볼록체의 가족을 구성하는 데 기여하는가?
• RQ5 반반평면 측정치에서는 거의 구별 불가능한데도 대칭 차이가 멀리 떨어진 볼록체의 구성으로, 반반평면 교차에 의한 부피 추정의 불안정성을 입증할 수 있는가?

주요 결과

• 이 논문은 $ℝ^d$ 내 볼록체를 $\epsilon$-대칭 차이로 학습하기 위해 $2^{\Omega(\sqrt{d/\epsilon})}$개의 샘플이 필요하다는 하한을 확립하며, 이는 관련 설정에서 알려진 최상의 상한과 거의 정확하게 일치한다.
• 어려운 볼록체의 가족은 오류 수정 코드와 크로스 단체에 대한 피크 부착을 이용해 명시적으로 구성되어 있어, 이전의 확률적 구성보다 더 투명하고 구성적인 방식을 취한다.
• 랜덤 오라클뿐 아니라 멤버십 오라클에 접근할 수 있는 경우조차도, 볼록체를 학습하기 위해 $\sqrt{d}$에 대해 지수적으로 많은 샘플이 필요하다는 것을 보여주며, 통계적 관점에서 문제의 본질적 어려움을 입증한다.
• 저자들은 임의의 상수 $t>0$에 대해, $ℝ^d$ 내에서 $1/d^t$-반반평면 가까움(즉, 반반평면 측정치로는 거의 구별 불가능)이지만 대칭 차이가 $1/8$ 초과인 볼록체가 존재함을 증명하며, 부피 기반 재구성의 불안정성을 보여준다.
• 이 결과는 $\mathrm{poly}(d)$개의 균일한 랜덤 샘플로 볼록체의 부피를 추정하는 것은 불가능하다는 것을 의미하며, Frieze 등이 제기한 질문을 해결하고 Eldan의 추측을 확인한다.
• 이 구성은 어떤 알고리즘이나 $\mathrm{poly}(d)$개의 샘플로 볼록체를 학습할 수 없음을 보여주며, 심지어 $\mathrm{poly}(d)$개의 면을 가진 다면체일지라도 그렇다. 이는 $\mathrm{poly}(d)$ 시간 내에 이러한 학습이 가능한지 여부를 여전히 열려 있는 문제로 남긴다.