[論文レビュー] Multi-relational Learning Using Weighted Tensor Decomposition with Modular Loss

Ben London, Theodoros Rekatsinas+2 more|arXiv (Cornell University)|Mar 7, 2013

Tensor decomposition and applications参考文献 16被引用数 16

ひとこと要約

本稿では、スパースな学習データにおいて精度と効率を向上させるために、タスク固有の損失関数を用いた重み付き低ランクテンソル分解を組み合わせたモodularなフレームワーク、Multi-relational Weighted Tensor Decomposition (MrWTD) を提案する。関係性を潜在的要因の関数としてモデル化し、重み付き目的関数を最適化することで、未重み付き手法に比べ最大10倍の高速化を達成しながら、ベイズ的手法や他の因子分解手法と同等またはそれ以上の精度を実現する。

ABSTRACT

We propose a modular framework for multi-relational learning via tensor decomposition. In our learning setting, the training data contains multiple types of relationships among a set of objects, which we represent by a sparse three-mode tensor. The goal is to predict the values of the missing entries. To do so, we model each relationship as a function of a linear combination of latent factors. We learn this latent representation by computing a low-rank tensor decomposition, using quasi-Newton optimization of a weighted objective function. Sparsity in the observed data is captured by the weighted objective, leading to improved accuracy when training data is limited. Exploiting sparsity also improves efficiency, potentially up to an order of magnitude over unweighted approaches. In addition, our framework accommodates arbitrary combinations of smooth, task-specific loss functions, making it better suited for learning different types of relations. For the typical cases of real-valued functions and binary relations, we propose several loss functions and derive the associated parameter gradients. We evaluate our method on synthetic and real data, showing significant improvements in both accuracy and scalability over related factorization techniques.

研究の動機と目的

• 観測された関係が限られているスパースな学習データ環境における多関係学習の課題に対処すること。
• 統一されたフレームワーク内で二値、順序的、実数値の関係タイプをモデル化することで予測精度を向上させること。
• 未観測のエントリに対して不要な計算を回避する重み付き目的関数を用いることで、スパarsityを活用した計算効率の向上。
• 多様な関係タイプに対応できるように、滑らかでタスク固有の損失関数の任意の組み合わせをサポートするモジュラーで柔軟な学習を可能にすること。
• 特にデータが乏しい状況においても、ベイズ的手法や未重み付きテンソル因子分解手法の代替としてスケーラブルで高精度な代替手法を開発すること。

提案手法

• 多関係データを、各スライスが異なる関係タイプに対応するスパースな三モードテンソルとして表現する。
• すべての関係に共通する潜在的要因を含む低ランクテンソル分解を用いて、各関係を関数としてモデル化する。
• 観測済みエントリに信頼度の重みを割り当てることで、データスパース性下でもロバストで効率的な性能を向上させる重み付き目的関数を用いる。
• さまざまな損失関数の勾配を導出することで、準ニュートン法を用いた非線形最適化問題として学習問題を定式化する。
• 二値関係には滑らかなヒンジ損失、実数値関係には二乗損失など、関係タイプに応じた任意の滑らかでタスク固有の損失関数の組み合わせをサポートする。
• ASALSANアルゴリズムで閉形式の更新式を活用し、問題サイズが増加する際の最適化を加速する。

実験結果

リサーチクエスチョン

• RQ1 一貫した多関係学習システム内で、二値、離散的順序的、実数値の多様な関係タイプを効果的に統合的にモデル化できるか。
• RQ2 データがスパースな状況下で、重み付き目的関数を組み込むことで、予測精度と計算効率がどの程度向上するか。
• RQ3 複数のタスク固有損失関数をサポートするモジュラー損失フレームワークが、従来の未重み付きまたは単一損失アプローチを上回る性能を示せるか。
• RQ4 データセットサイズが増加する際、MrWTDのスケーラビリティは、BPTF や RESCAL といった最先端手法と比較してどの程度か。
• RQ5 ランクパラメータがモデル性能に与える影響は何か。また、ある閾値を超えた後は正則化がモデルの複雑さを支配するのか。

主な発見

• MrWTDは、重み付き目的関数により観測済みエントリにのみ計算を集中させることで、未重み付きテンソル因子分解手法に比べ最大10倍の高速化を達成する。
• 実世界のデータセット（Kinship, Reality Mining, Social Evolution）において、BPTF や RESCAL と同等またはそれ以上の AUC 性能を示し、特にデータが少ない状況で顕著である。
• ベイズ的手法（BPTF）と同等の精度を達成するが、はるかに短い時間で実行可能であり、精度と効率の優れたトレードオフを示している。
• Social Evolution データセットでは、ランクが10以上の場合、実行ごとの標準偏差が0.02未満という安定した性能を維持しており、ランク選択に対するロバスト性が確認された。
• 滑らかなヒンジ損失を用いたMrWTDのバージョンは、一般化性能が高く、訓練に使用するデータを25%に制限しても高いAUCを達成した。
• MrWTDはデータサイズの増加に伴い効率的にスケーリングされ、RESCALを上回り、BPTFが大規模データセット（m=4000, 8000）でメモリ不足のため実行不能だった問題を回避した。