[논문 리뷰] Scaled subordinators and generalizations of the Indian buffet process

Lancelot F. James, Peter Orbanz외 1명|arXiv (Cornell University)|2015. 10. 25.

Economics of Agriculture and Food Markets참고 문헌 30인용 수 10

한 줄 요약

이 논문은 무작위로 겹치는 집합의 가족을 모델링하기 위해 척도 조정된 보조자(의)를 도입함으로써 인디안 뷔페 과정을 일반화한다. 여기서 요소들은 여러 부분집합에 속할 수 있다. 척도 조정된 보조자와 포아송-킹먼 측도 사이의 대응관계를 확립하여, 꼬리가 두꺼운 척도 조정이 첫 $ n $개 요소를 포함하는 집합의 수에서 멱법칙 행동을 유도함을 보이며, 교환 가능한 분할 이론의 고전적 결과를 확장하고 기계학습 응용을 위한 연관관계 및 특징 할당 모델에 대해 민감한 프레임워크를 제공한다.

ABSTRACT

We study random families of subsets of $\mathbb{N}$ that are similar to exchangeable random partitions, but do not require constituent sets to be disjoint: Each element of ${\mathbb{N}}$ may be contained in multiple subsets. One class of such objects, known as Indian buffet processes, has become a popular tool in machine learning. Based on an equivalence between Indian buffet and scale-invariant Poisson processes, we identify a random scaling variable whose role is similar to that played in exchangeable partition models by the total mass of a random measure. Analogous to the construction of exchangeable partitions from normalized subordinators, random families of sets can be constructed from randomly scaled subordinators. Coupling to a heavy-tailed scaling variable induces a power law on the number of sets containing the first $n$ elements. Several examples, with properties desirable in applications, are derived explicitly. A relationship to exchangeable partitions is made precise as a correspondence between scaled subordinators and Poisson-Kingman measures, generalizing a result of Arratia, Barbour and Tavare on scale-invariant processes.

연구 동기 및 목표

• 기본적으로 서로소 집합 모델을 넘어서 겹치는 부분집합을 允허함으로써 인디안 뷔페 과정을 일반화하여 관계 및 특징 할당 데이터의 더 민감한 모델링을 가능하게 한다.
• 교환 가능한 분할 모델에서 총 질량에 해당하는 척도 조정 랜덤 변수를 식별하여 각 요소를 포함하는 집합의 수를 지배한다.
• 무작위로 척도 조정된 보조자를 통한 무작위 집합 가족의 일반적 구성 방법을 수립하여 포아송-킹먼 프레임워크를 일반화한다.
• 집합 수와 크기에 멱법칙 행동이 나타나는 명시적 예를 도출하며, 특히 척도 조정 변수가 꼬리가 두꺼운 경우를 다룬다.
• 척도 조정된 보조자와 포아송-킹먼 측도 사이의 관계를 정식화하여 아라타, 바르부르, 티바르의 결과를 일반화한다.

제안 방법

• 스케일 불변 포아송 과정을 기초로 하여, 랜덤 척도 조정 변수를 통해 일인자 파라미터 인디안 뷔페 과정과 연결한다.
• 하나의 보조자 강도를 조절하는 랜덤 척도 조정 변수 $ T_{\theta} $ 를 도입하여, 분할 모델에서 총 질량이 수행하는 역할을 일반화한다.
• 분포 $ \mathcal{L}(Q_{1:\nu}|T_{\xi}=t) = \text{PK}(\lambda|D_{\theta}=at) $ 를 통해 $ \lambda $ 와 $ T_{\theta} $ 에 기반한 정규화된 보조자 $ Q_{1:\nu} $ 를 이용해 무작위 집합 가족을 구성한다.
• 지수 기울임과 감마 레비 밀도 변환을 적용하여 복잡한 포아송-킹먼 측도를 $ \text{PD}(0,\theta) $ 와 $ \text{PD}(\alpha,\theta) $ 와 같은 알려진 분포로 감소시킨다.
• 포아송 근사에서 행의 합과 근사 오차를 분석하기 위해 크기 편향 추출과 레캠 부등식을 통한 총 변화량 바OUNDS를 사용한다.
• 연속 시간 확률 과정에서의 마르코프 성질과 조건부 독립성을 활용하여, 특히 $ \tau_{\beta} $ 가 조건부 분포 $ X_{\beta} $ 의 충분 통계량임을 증명한다.

실험 결과

연구 질문

• RQ1 인디안 뷔페 과정을 어떻게 일반화하여 겹치는 집합을 허용하면서도 교환성과 멱법칙 행동을 유지할 수 있는가?
• RQ2 무작위 집합 가족에서 첫 $ n $개 요소를 포함하는 집합의 수를 지배하는 랜덤 척도 조정 변수는 어떤 역할을 하는가?
• RQ3 척도 조정된 보조자와 포아송-킹먼 측도 사이의 관계는 무엇이며, 이 관계는 기존의 교환 가능한 분할 이론 결과를 일반화할 수 있는가?
• RQ4 보조자가 안정적 또는 척도 조정 변수가 꼬리가 두꺼운 경우에 결과 집합 가족의 분포적 성질은 무엇인가?
• RQ5 이 구성은 동시에 집합 수와 크기에 멱법칙을 도출할 수 있으며, 이를 어떻게 달성하는가?

주요 결과

• 조건부로 $ T_{\xi} = t $ 인 경우 무작위 집합 가족의 분포는 포아송-킹먼 측도 $ \text{PK}(\lambda|D_{\theta}=at) $ 와 동일하며, 척도 조정된 보조자와 이 측도 클래스 사이의 직접적인 연결 고리를 확립한다.
• 보조자가 $ \alpha $-안정적이고 척도 조정 변수가 $ \alpha $-안정적인 경우 결과 분포는 $ \text{PD}(\alpha,\alpha) $ 가 되며, 이는 이중 파라미터 포아송-디리클레 분포를 일반화한다.
• 감마 레비 밀도 $ \lambda'(s) = \theta s^{-1}e^{-s} $ 인 경우 조건부 분포는 $ \text{PD}(0,\theta) $ 가 되며, 일인자 파라미터 인디안 뷔페 과정을 복원한다.
• 꼬리가 두꺼운 척도 조정이 첫 $ n $개 요소를 포함하는 집합의 수에 멱법칙 행동을 유도하며, 이 지수는 척도 조정 변수의 꼬리 지수에 의해 결정된다.
• 베르토인 등이 제시한 변수를 기반으로 한 다른 구성은 집합 수와 크기에 동시에 멱법칙을 도출할 수 있으며, 이는 모델링의 유연성을 향상시킨다.
• 이진 행렬 $ \mathbf{Z} $ 의 행 합, 즉 각 객체의 특징 수는 일반화된 이항분포를 따르며, 근사 오차는 $ \mathbb{E}[T_{\xi}^2 \tilde{V}_1] $ 로 유계화되며, 여기서 $ \tilde{V}_1 $ 은 첫 번째 크기 편향 가중치이다.