[論文レビュー] Tensor Balancing on Statistical Manifold

Mahito Sugiyama, Hiroyuki Nakahara+1 more|arXiv (Cornell University)|Feb 27, 2017

Tensor decomposition and applications被引用数 5

ひとこと要約

本稿では、双対平坦な統計多様体上の確率分布としてテンソルをモデル化することにより、2次収束を達成するニュートン法に基づく新規なテンソルバランス化手法を提案する。モビウス変換の公式を用いて、多様体の勾配を解析的に計算し、マルチストキャスティックテンソルの部分多様体へのe-射影を効率的に行う。数値結果では、既存手法と比較して数個のオーダーの高速化が示された。

ABSTRACT

We solve tensor balancing, rescaling an Nth order nonnegative tensor by multiplying N tensors of order N - 1 so that every fiber sums to one. This generalizes a fundamental process of matrix balancing used to compare matrices in a wide range of applications from biology to economics. We present an efficient balancing algorithm with quadratic convergence using Newton's method and show in numerical experiments that the proposed algorithm is several orders of magnitude faster than existing ones. To theoretically prove the correctness of the algorithm, we model tensors as probability distributions in a statistical manifold and realize tensor balancing as projection onto a submanifold. The key to our algorithm is that the gradient of the manifold, used as a Jacobian matrix in Newton's method, can be analytically obtained using the Moebius inversion formula, the essential of combinatorial mathematics. Our model is not limited to tensor balancing, but has a wide applicability as it includes various statistical and machine learning models such as weighted DAGs and Boltzmann machines.

研究の動機と目的

• N次非負テンソルを、N−1次テンソルのN個の積によりスケーリングすることで、マルチストキャスティックにすること—テンソルバランス化の未解決問題を解くこと。
• Sinkhorn-Knoppアルゴリズムの線形収束を克服し、高速かつ収束性の高いテンソルバランス化アルゴリズムを開発すること。
• 情報幾何学的枠組みを用いてテンソルバランス化の理論的基盤を提供し、テンソルを双対平坦なリーマン多様体上の確率分布としてモデル化すること。
• 行列バランス化を高次テンソルへ一般化しつつ、収束保証と計算効率を維持すること。

提案手法

• 部分的に順序付けられた結果空間上の一般化された対数線形モデルを用いて、テンソルを双対平坦な統計多様体上の確率分布としてモデル化する。
• テンソルバランス化を、各ファイバーの和が1/(n^{N-1})となるマルチストキャスティックテンソルの部分多様体へのe-射影として定式化する。
• モビウス変換の公式を用いて多様体の勾配を解析的に計算し、ニュートン法における正確なヤコビ行列の計算を可能にする。
• 1つの座標系において(n−1)^N個の要素が不変であることに着目し、ニュートン法における方程式の数をO(n^N)からO(n^{N-1})に削減する。
• 2次収束を達成するニュートン法を適用してe-射影を計算し、全テンソル線形方程式系の解法を回避する。
• e-射影から得られる双対パラメータの指数変換により、バランス化テンソルR^mを回復する。

実験結果

リサーチクエスチョン

• RQ1 ニュートン法をテンソルバランス化に適用し、Sinkhorn-Knoppアルゴリズムの線形収束を回避する2次収束を保証できるか？
• RQ2 どのようにして統計多様体の勾配を解析的に計算し、テンソルバランス化における効率的なニュートン反復を可能にするか？
• RQ3 テンソルバランス化の背後にある情報幾何的構造は何か？ また、行列バランス化をどのように一般化するか？
• RQ4 モビウス変換の公式を用いて、この文脈におけるフィッシャー情報行列の閉形式表現を導出できるか？
• RQ5 提案手法の計算複雑度は何か？ また、テンソルの次数やサイズに応じてどのようにスケーリングされるか？

主な発見

• 提案手法であるニュートン法に基づくアルゴリズムは2次収束を達成し、数値実験で線形収束するSinkhorn-Knoppアルゴリズムを著しく上回った。
• 行列バランス化の実験において、既存手法と比較して数個のオーダーの高速化が確認された。
• 統計多様体の勾配はモビウス変換の公式により解析的に得られ、数値近似を用いずとも正確なヤコビ行列計算が可能となった。
• ニュートン法における方程式の数はO(n^{N-1})に削減され、高次テンソルに対してもスケーラブルになった。
• テンソルバランス化は、双対平坦なマルチストキャスティックテンソルの部分多様体へのe-射影として厳密に定式化され、解の存在と一意性が保証された。
• 重み付きDAGやボルツマンマシンなどのさまざまなモデルへも一般化可能であり、テンソルバランス化を超えた広範な適用性を示した。