[論文レビュー] Scaled subordinators and generalizations of the Indian buffet process

Lancelot F. James, Peter Orbanz+1 more|arXiv (Cornell University)|Oct 25, 2015

Economics of Agriculture and Food Markets参考文献 30被引用数 10

ひとこと要約

この論文は、スケーリングされた部分順序を導入することで、重複する集合の無作為な家族をモデル化するインド・カフェティア・プロセスを一般化する。要素が複数の部分集合に属する可能性がある。スケーリングされた部分順序とポアソン＝キングマン測度の間の対応関係を確立し、重ねた尾部のスケーリングが最初の $ n $ 要素を含む集合の数におけるべき則的挙動を引き起こすことを示す。これは交換可能な分割に関する古典的結果を拡張し、機械学習における関係的および特徴割り当てモデルのための柔軟な枠組みを提供する。

ABSTRACT

We study random families of subsets of $\mathbb{N}$ that are similar to exchangeable random partitions, but do not require constituent sets to be disjoint: Each element of ${\mathbb{N}}$ may be contained in multiple subsets. One class of such objects, known as Indian buffet processes, has become a popular tool in machine learning. Based on an equivalence between Indian buffet and scale-invariant Poisson processes, we identify a random scaling variable whose role is similar to that played in exchangeable partition models by the total mass of a random measure. Analogous to the construction of exchangeable partitions from normalized subordinators, random families of sets can be constructed from randomly scaled subordinators. Coupling to a heavy-tailed scaling variable induces a power law on the number of sets containing the first $n$ elements. Several examples, with properties desirable in applications, are derived explicitly. A relationship to exchangeable partitions is made precise as a correspondence between scaled subordinators and Poisson-Kingman measures, generalizing a result of Arratia, Barbour and Tavare on scale-invariant processes.

研究の動機と目的

• 不交差集合モデルを超えて重複する部分集合を許容することで、インド・カフェティア・プロセスを拡張し、関係的および特徴割り当てデータのより柔軟なモデリングを可能にする。
• 交換可能な分割モデルにおける総質量に類似するスケーリング確率変数を同定し、各要素を含む集合の数を支配する。
• ランダムにスケーリングされた部分順序を用いた、無作為な集合族の一般的構成を確立し、ポアソン＝キングマンフレームワークを一般化する。
• 特にスケーリング変数が重ねた尾部である場合に、集合の数とサイズにべき則的挙動を示す明示的な例を導出する。
• スケーリングされた部分順序とポアソン＝キングマン測度の間の関係を形式化し、アラタリア、バーボー、タヴァーレの結果を一般化する。

提案手法

• スケール不変なポアソン過程を基盤とし、ランダムなスケーリング変数を介して一パrameterインド・カフェティア・プロセスと関連付ける。
• 部分順序の強度を制御するランダムなスケーリング変数 $ T_{\theta} $ を導入し、分割モデルにおける総質量の役割を一般化する。
• 分布 $ \mathcal{L}(Q_{1:\nu}|T_{\xi}=t) = \text{PK}(\lambda|D_{\theta}=at) $ から得られる正規化された部分順序 $ Q_{1:\nu} $ を用いて、無作為な集合族を構築する。
• 指数的チフトとガンマ・レヴィ密度変換を用い、複雑なポアソン＝キングマン測度を $ \text{PD}(0,\theta) $ や $ \text{PD}(\alpha,\theta) $ などの既知の分布に還元する。
• サイズバイアスドピックとレ・カムの不等式による全変動距離の境界を用いて、ポアソン極限における行和と近似誤差を分析する。
• 連続時間過程におけるマルコフ性と条件付き独立性を用い、特に $ \tau_{\beta} $ が $ X_{\beta} $ の条件付き分布に対する十分統計量であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 インド・カフェティア・プロセスは、交換可能性とべき則的挙動を保ちつつ、重複する集合を許容するようにどのように一般化できるか？
• RQ2 無作為な集合族において、最初の $ n $ 要素を含む集合の数を支配するランダムなスケーリング変数の役割は何か？
• RQ3 スケーリングされた部分順序はポアソン＝キングマン測度とどのように関係し、既知の交換可能な分割に関する結果を一般化できるか？
• RQ4 部分順序が安定的であるか、またはスケーリング変数が重ねた尾部である場合、得られる集合族の分布的性質は何か？
• RQ5 この構成により、集合の数とそのサイズの両方における同時べき則的挙動が得られるか？ そして、それはどのように達成されるか？

主な発見

• 条件付き分布 $ \mathcal{L}(\text{集合族} \mid T_{\xi} = t) $ はポアソン＝キングマン測度 $ \text{PK}(\lambda|D_{\theta}=at) $ に従う。これは、スケーリングされた部分順序とこのクラスの無作為測度との直接的な関係を確立する。
• 部分順序が $ \alpha $-安定的で、スケーリング変数が $ \alpha $-安定的である場合、得られる分布は $ \text{PD}(\alpha,\alpha) $ となる。これは二パrameterポアソン＝ディリクレ分布を一般化する。
• ガンマ・レヴィ密度 $ \lambda'(s) = \theta s^{-1}e^{-s} $ の場合、条件付き分布は $ \text{PD}(0,\theta) $ に還元され、一パrameterインド・カフェティア・プロセスが回復される。
• 重ねた尾部のスケーリングは、最初の $ n $ 要素を含む集合の数にべき則的挙動を引き起こし、その指数はスケーリング変数の尾部指数によって決定される。
• ベルトインらの研究から得られる変数に基づく別の構成により、集合の数とそのサイズの両方における同時べき則的挙動が得られ、モデリングの柔軟性が向上する。
• バイナリ行列 $ \mathbf{Z} $ の行和（各オブジェクトの特徴数を表す）は一般化された二項分布に従い、近似誤差は $ \mathbb{E}[T_{\xi}^2 \tilde{V}_1] $ で有界であり、ここで $ \tilde{V}_1 $ は最初のサイズバイアスドウェイトである。