[論文レビュー] Learning Efficient Tensor Representations with Ring Structure Networks

Qibin Zhao, Masashi Sugiyama+1 more|arXiv (Cornell University)|May 20, 2017

Tensor decomposition and applications参考文献 1被引用数 18

ひとこと要約

本稿では、トレース演算を用いて線形チェーン構造のテンソルトレイン（TT）をリング構造に置き換える、置換不変なテンソルネットワークであるテンソルリング（TR）分解を提案する。これにより、対称的で柔軟かつ表現力に富んだ表現が可能になる。本手法は、データの置換に対して優れた圧縮性能と一貫性を示し、TR-SVDおよびTR-BALSアルゴリズムにより、効率的な学習と適応的ランク選択が可能になる。

ABSTRACT

Tensor train (TT) decomposition is a powerful representation for high-order tensors, which has been successfully applied to various machine learning tasks in recent years. However, since the tensor product is not commutative, permutation of data dimensions makes solutions and TT-ranks of TT decomposition inconsistent. To alleviate this problem, we propose a permutation symmetric network structure by employing circular multilinear products over a sequence of low-order core tensors. This network structure can be graphically interpreted as a cyclic interconnection of tensors, and thus we call it tensor ring (TR) representation. We develop several efficient algorithms to learn TR representation with adaptive TR-ranks by employing low-rank approximations. Furthermore, mathematical properties are investigated, which enables us to perform basic operations in a computationally efficiently way by using TR representations. Experimental results on synthetic signals and real-world datasets demonstrate that the proposed TR network is more expressive and consistently informative than existing TT networks.

研究の動機と目的

• データ次元の置換に対応できないテンソルトレイン（TT）分解の限界を解消し、TTランクの一貫性の欠如と表現の柔軟性の不足を是正すること。
• モデルの表現力と適応性を制限する固定TTランク制約（r₁ = r_{d+1} = 1）を緩和すること。
• すべてのコアを同等に扱える対称的で円環的なテンソルネットワーク構造を設計し、入力順序の変化に対してより頑健な表現を実現すること。
• TR-SVDおよびTR-BALSといった効率的なアルゴリズムを設計し、適応的ランクと低計算コストを実現するTR表現の学習を可能にすること。
• 提案されたTR表現が、合成データおよび実世界のデータにおいて、TTに比べてよりコンactで安定的かつ情報豊かなテンソル分解を可能にすることを実証すること。

提案手法

• 各テンソル要素をコアテンソルの巡回積のトレースとして計算するリング構造のテンソルネットワークを提案：T(i₁,…,i_d) = Tr{Z₁(i₁)Z₂(i₂)⋯Z_d(i_d)}
• トレース演算を用いることで、r₁ = r_{d+1} = 1 の必要性を排除し、すべてのコアを対称的に扱えるようにし、表現の柔軟性を向上させる。
• TR-SVDを導入：SVDに基づく切断を用いた反復なしで計算効率の高い低ランクTR近似アルゴリズム。
• TR-BALSを提案：隣接するコア積を交互に更新し、それらを分離するための低ランク近似を適用するブロックワイズ逐次最小二乗法。
• トレースの数学的性質と多次元線形代数の性質を活用し、基本的なテンソル演算（例：乗算、アンフォールディング）を直接TRコア上で効率的に計算可能にする。
• 学習中に動的にTRランクを調整できる低ランク近似技術を適用し、適応的かつコンactな表現を実現する。

実験結果

リサーチクエスチョン

• RQ1 次元の置換に対して不変でありながら、パrameter数を低く抑えたテンソルネットワーク構造を設計できるか？
• RQ2 TT分解の硬直的なランク制約（r₁ = r_{d+1} = 1）を緩和することで、モデルの表現力を向上させられるか？
• RQ3 コアテンソルの対称的で円環的な接続（リング構造）は、線形TTチェーンに比べてより安定的かつ一貫性のある表現をもたらすか？
• RQ4 TR-SVDおよびTR-BALSといった提案アルゴリズムは、TT-SVDに比べて近似精度、パrameter効率、入力順序の変化に対する頑健性において優れているか？
• RQ5 画像分類や信号再構成といった実世界のタスクにおいて、TR表現はどの程度性能を向上させるか？

主な発見

• TR分解は、すべての次元の置換に対して一貫性があり、低ランクの表現を達成する。例えば、f₂(x)の9回のシフトにおいて平均TRランクが安定して~4.9を維持するが、TTは顕著なランク変動（例：k=8で14.6）を示す。
• COIL-100データセットでは、TR-SVDがρ=50%の学習データとr_max=23で99.14%の精度を達成した。一方、TT-SVDは同程度の性能を得るためにはr_max=67を必要とし、パrameter数が顕著に削減された。
• TR-BALSはCOIL-100で相対誤差0.19、平均ランク12.0、99.14%の精度を達成し、同程度の誤差レベルにおいてTT-SVDに比して精度とパrameter効率の両面で優れている。
• 関数的データにおいて、TR-SVDは高SNR下でもパrameter数668、誤差5e-4を維持するが、TT-SVDはノイズを加えると13,064パrameter、1e-3の誤差を必要とする。
• TRにおけるパrameter数はTTのO(dnr²)からTRのO(dnr)に削減され、テンソルの順序に対して線形スケーリングが可能となり、スケーラビリティが向上する。
• 実験結果から、TR表現はTTに比べて表現力が高く、特にデータ再順序化や高次構造を含む状況において一貫して情報豊かであることが確認された。