[論文レビュー] Equivariant and scale-free Tucker decomposition models

Peter D. Hoff|arXiv (Cornell University)|Dec 22, 2013

Tensor decomposition and applications参考文献 21被引用数 4

ひとこと要約

本稿では、直交変換に対して不変であり、スケールフリーな離散的または順序的アレイデータを対象としたベイジアンでモデルベースのタッカー分解を提案する。不変事前分布とコア配列の正則化を用いることで、最小二乗法に比べて推定性能が向上し、特に高次元または正規分布でない設定でも有効である。この手法により、マルチレイヤーの社会的ネットワークなど、多次元の関係的データのロバストな低ランクモデリングが可能となる。

ABSTRACT

Analyses of array-valued datasets often involve reduced-rank array approximations, typically obtained via least-squares or truncations of array decompositions. However, least-squares approximations tend to be noisy in high-dimensional settings, and may not be appropriate for arrays that include discrete or ordinal measurements. This article develops methodology to obtain low-rank model-based representations of continuous, discrete and ordinal data arrays. The model is based on a parameterization of the mean array as a multilinear product of a reduced-rank core array and a set of index-specific orthogonal eigenvector matrices. It is shown how orthogonally equivariant parameter estimates can be obtained from Bayesian procedures under invariant prior distributions. Additionally, priors on the core array are developed that act as regularizers, leading to improved inference over the standard least-squares estimator, and providing robustness to misspecification of the array rank. This model-based approach is extended to accommodate discrete or ordinal data arrays using a semiparametric transformation model. The resulting low-rank representation is scale-free, in the sense that it is invariant to monotonic transformations of the data array. In an example analysis of a multivariate discrete network dataset, this scale-free approach provides a more complete description of data patterns.

研究の動機と目的

• 高次元的・ノイズが多い・正規分布でないアレイデータにおいて、最小二乗法によるタッカー分解の限界を解消すること。
• 不変事前分布を用いることで、直交変換に対して不変なパラメータ推定を実現するベイジアンフレームワークの構築。
• コア配列への正則化事前分布の導入により、推定の精度とランクの誤指定に対するロバスト性を向上させること。
• 単調変換に対して不変性を保つように、半パラメトリック変換モデルを用いて離散的・順序的データへのモデル拡張を実現すること。
• GDELTプロジェクトのマルチレイヤー・ソーシャル・ネットワークを含む、実世界の多次元関係的データにおいて、本手法の優位性を示すこと。

提案手法

• 多線形タッカー分解モデルを用いる：$\mathbf{Y} = \mathbf{S} \times \{\mathbf{U}_1, \dots, \mathbf{U}_K\} $、ここで$\mathbf{S}$は低ランクのコア配列、$\mathbf{U}_k$は直交因子行列である。
• 直交変換群に右不変なハール事前分布を導入することで、直交変換に対して不変な後方分布推定が可能となる。
• コア配列$\mathbf{S}$に階層的事前分布を適用し、正則化効果を発揮させることで推定安定性の向上と過剰適合の低減を実現する。
• 平均がコアに単調リンク関数で関連付けられる半パラメトリック変換モデルを用いて、離散的・順序的データへの拡張を実現する。
• 階層ベイジアンモデル下での後方分布計算に、マルコフ連鎖モンテカルロ（MCMC）法を用いる。
• 観測アレイ要素の単調変換に対して後方分布が不変となるようにすることで、スケールフリー不変性を確保する。

実験結果

リサーチクエスチョン

• RQ1 因子行列の直交変換に対して不変となるベイジアンタッカー分解を構築できるか？
• RQ2 コア配列への正則化は、高次元アレイデータにおける推定精度とランクの誤指定に対するロバスト性をどのように向上させるか？
• RQ3 単調変換に対して不変性を保ちつつ、離散的・順序的アレイデータを扱えるようにモデルを拡張できるか？
• RQ4 提案手法のスケールフリーでモデルベースのアプローチは、歪度のある離散的多次元ネットワークデータにおいて、標準的な最小二乗法タッカー分解を上回るか？
• RQ5 本手法は、GDELTマルチレイヤーネットワークを含む実世界の関係的データセットにおいて、意味のある低ランク構造を効果的に捉えられるか？

主な発見

• 直交群上に不変なハール事前分布を用いることで、提案されたベイジアンモデルは直交変換に対して不変な後方推定を達成する。
• コア配列に階層的事前分布を導入することで、特に高次元設定において、標準の最小二乗推定器に比べて推定性能が向上する。
• モデルベースのアプローチは、アレイのランクの誤指定に対してもロバストである。コア配列への事前分布が自然に過剰適合を抑制する。
• 離散的・順序的データに対しては、半パラメトリック変換モデルによりスケールフリー不変性が保証され、低ランク表現がデータの単調変換に対して不変となる。
• GDELT応用において、スケールフリーなモデルは最小二乗法に比べ、多次元関係的パターンをより包括的かつ代表的な形で記述できた。
• 本手法は、$30 \times 30 \times 52 \times 20$ の四階テンソルであるマルチレイヤー外交行動データにおいて、歪度のあるカウントベースのデータに対して、標準的手法を上回る性能を示した。