[論文レビュー] Generalization and Overfitting in Matrix Product State Machine Learning Architectures

Artem Strashko, E. Miles Stoudenmire|arXiv (Cornell University)|Aug 8, 2022

Parallel Computing and Optimization Techniques被引用数 6

ひとこと要約

この論文は、行列積状態（MPS）機械学習モデルにおける一般化と過学習を、MPSで正確に表現可能な人工データおよびMNIST上で訓練することで調査している。1次元データでは結合次元が最適値を超えると過学習が発生するが、MNISTでは発生しない。これはMPSの一般化がデータ構造と複雑さに強く依存することを示唆している。

ABSTRACT

While overfitting and, more generally, double descent are ubiquitous in machine learning, increasing the number of parameters of the most widely used tensor network, the matrix product state (MPS), has generally lead to monotonic improvement of test performance in previous studies. To better understand the generalization properties of architectures parameterized by MPS, we construct artificial data which can be exactly modeled by an MPS and train the models with different number of parameters. We observe model overfitting for one-dimensional data, but also find that for more complex data overfitting is less significant, while with MNIST image data we do not find any signatures of overfitting. We speculate that generalization properties of MPS depend on the properties of data: with one-dimensional data (for which the MPS ansatz is the most suitable) MPS is prone to overfitting, while with more complex data which cannot be fit by MPS exactly, overfitting may be much less significant.

研究の動機と目的

• 行列積状態（MPS）の結合次元を増加させた場合、機械学習におけるモデルの一般化と過学習に与える影響を調査すること。
• 有限なデータセット上で訓練されたMPSモデルにおいて、ダブルデセントまたはU字型のテスト損失曲線が出現するかどうかを特定すること。
• 正確にMPS表現を持つ人工データと、MNISTのような現実世界のデータとの間で、一般化行動を比較すること。
• データの複雑さ、トレーニングセットのサイズ、最適な結合次元との相互作用を調査し、一般化に与える影響を明らかにすること。
• モデル容量とデータ構造が、テンソルネットワークに基づく学習アーキテクチャにおける過学習の決定要因として果たす役割を評価すること。

提案手法

• 既知の結合次元を持つMPSで正確に表現可能な人工回帰データセットを構築する。
• 2つの手法を用いてMPSモデルを訓練する：圧縮を伴うテンソル逆算と、DMRGに基づく勾配最適化。
• 結合次元（χ）とトレーニングセットサイズを体系的に変化させ、モデル容量の異なる状況でのテスト性能を評価する。
• 複雑さを制御するパrameter ε を用いた多項式ベースのデータ分布を用い、一般化の限界を調査する。
• 同じMPSアーキテクチャをMNIST画像データに適用し、人工データとの一般化行動を比較する。
• テスト損失を結合次元の関数として分析し、U字型（過学習）または単調（ダブルデセント）の挙動を検出する。

実験結果

リサーチクエスチョン

• RQ1 MPSで正確に表現可能なデータに対して、有限なトレーニングデータ上で結合次元を増加させると、過学習が生じるか？
• RQ2 元となるデータ分布の複雑さが、MPSモデルにおける最適な結合次元および一般化性能に与える影響は何か？
• RQ3 正確にMPS表現を持つ人工データと、現実世界の画像データ（例：MNIST）との間で、MPSの一般化行動に顕著な差異があるか？
• RQ4 トレーニングデータ量が、MPSベースのモデルにおける最適な結合次元および過学習の有無にどの程度影響を与えるか？
• RQ5 理論的には単純であるにもかかわらず、MPSをMPSで正確に表現可能なデータに訓練する方が、MNISTに比べてなぜより困難なのか？

主な発見

• 低複雑性の1次元人工データに対してMPSモデルを訓練した場合、最適な結合次元 χ* を超えるとテスト損失が増加し、過学習が観測された。
• より高い複雑さ（ε = 1.0）のデータでは、過学習が著しく減少し、結合次元を増加させてもU字型の損失曲線は現れず、テスト性能は継続的に向上した。
• MNIST画像データでは、結合次元を増加させるとテスト性能が単調に向上し、過学習やダブルデセントの兆候は一切見られなかった。
• 最適な結合次元 χ* は、データを正確に表現するために必要な次元よりも小さく、データの複雑さとトレーニングセットサイズが増加するにつれて増加した。
• データタイプによって訓練効率が異なる：理論的に単純であるにもかかわらず、MPSで正確に表現可能な人工データではMPSの訓練がより困難であった。
• MPSの一般化特性は普遍的ではなく、データ構造、複雑さ、モデル容量の相互作用に依存しており、有限な結合次元によるデータ依存型正則化が示唆された。