[論文レビュー] Quantum Tensor Network in Machine Learning: An Application to Tiny Object Classification

Fanjie Kong, Xiao-Yang Liu+1 more|arXiv (Cornell University)|Jan 8, 2021

Computational Physics and Python Applications参考文献 13被引用数 10

ひとこと要約

本稿では、量子スピン模型理論を活用してオブジェクト-画像比とエンタングルメント・エントロピーのスケーリングを一致させるために、2次元マルチスケールエンタングルメント縮約アンザッツ（MERA）テンソルネットワークモデルを提案する。実験により、MERAモデルは、64×64のNeedleMNISTで78.4%、LIDCで76.0%の精度を達成し、信号対雑音比が低いタスクにおけるCNNの代替手段としてのテンソルネットワークの有効性を示している。

ABSTRACT

Tiny object classification problem exists in many machine learning applications like medical imaging or remote sensing, where the object of interest usually occupies a small region of the whole image. It is challenging to design an efficient machine learning model with respect to tiny object of interest. Current neural network structures are unable to deal with tiny object efficiently because they are mainly developed for images featured by large scale objects. However, in quantum physics, there is a great theoretical foundation guiding us to analyze the target function for image classification regarding to specific objects size ratio. In our work, we apply Tensor Networks to solve this arising tough machine learning problem. First, we summarize the previous work that connects quantum spin model to image classification and bring the theory into the scenario of tiny object classification. Second, we propose using 2D multi-scale entanglement renormalization ansatz (MERA) to classify tiny objects in image. In the end, our experimental results indicate that tensor network models are effective for tiny object classification problem and potentially will beat state-of-the-art. Our codes will be available online https://github.com/timqqt/MERA_Image_Classification.

研究の動機と目的

• 従来のCNNが性能を発揮できない、信号対雑音比が低い画像における小さなオブジェクト分類の課題に対処すること。
• 特にエンタングルメント・エントロピーとMERAを含む量子多体物理学の概念を応用し、画像分類における関数の複雑さをモデル化すること。
• 空間階層の効率的学習を可能にする、エンドツーエンド微分可能な2次元MERAテンソルネットワークの開発と訓練を行うこと。
• 極端に低いオブジェクト-画像比を示すベンチマークデータセットにおいて、MERAモデルをCNNおよびハイブリッドテンソルネットワークモデルと比較して評価すること。

提案手法

• 画像分類を、ヒルベルト空間（画像関数空間に同型）におけるゴールデン量子状態に対応する量子スピン模型として定式化する。
• 関数の複雑さの理論的指標としてエンタングルメント・エントロピーを用い、オブジェクト-画像（O2I）比と関連づけ、モデル設計をガイドする。
• 画像内のマルチスケール空間相関を効率的に表現するため、2次元マルチスケールエンタングルメント縮約アンザッツ（MERA）を階層的テンソルネットワークとして適用する。
• 標準的なバックプロパゲーションと自動微分（例：TensorFlow）を用いて、エンドツーエンドでMERAモデルを訓練し、収束を最適化するハイパーパrameterを調整する。
• 性能向上の有効性を比較するため、ニューラルネットワークベースライン（Tensor-NN）にテンソルネットワーク層を統合したハイブリッドアーキテクチャを導入する。
• 空間構造を保持するため、1次元表現を持つピクセル単位の入力テンソルを用い、MERAアーキテクチャに統合する。

実験結果

リサーチクエスチョン

• RQ1 量子多体物理学にインspiredされたテンソルネットワークは、小さなオブジェクト分類タスクの複雑さを効果的にモデル化できるか？
• RQ2 ターゲット関数のエンタングルメント・エントロピーはオブジェクト-画像比にどのようにスケーリングするか？その関係を活用してより良いモデルを設計できるか？
• RQ3 2次元MERAテンソルネットワークは、極めて低い信号対雑音比のデータセットにおいて、最先端のCNNと同等または優れた性能を示せるか？
• RQ4 学習率や重み初期化などのハイパーパrameterは、MERAモデルの訓練安定性と収束にどのように影響するか？

主な発見

• 64×64のNeedleMNISTデータセットにおいて、2次元MERAモデルは78.4%の精度を達成し、ベースラインCNN（76.0%）を上回り、小さなオブジェクトタスクにおける強力な潜在能力を示している。
• 平均オブジェクト-画像比が1.32%のLIDCデータセットでは、MERAモデルが76.0%の精度を達成し、同じ指標でベースラインCNN（78.0%）を上回っている。
• ハイブリッドTensor-NNモデル（CNNにテンソルネットワーク層を統合）は、LIDCで86.0%の精度を達成し、標準CNN（78.0%）を上回っており、テンソルネットワークがディープラーニングモデルの性能を向上させられることを示している。
• ハイパーパrameterチューニングの結果、学習率1e-5および重み標準偏差0.0001がMERAの収束に不可欠であることが判明し、初期化と最適化に対する感受性が強いことが示された。
• 訓練曲線から、MERAの訓練は最適化ハイパーパrameterに敏感であり、不適切な選択は不安定な損失と精度を引き起こすことが判明し、テンソルネットワークの最適化に課題があることが示唆された。
• MNISTではCNN（98.3%）に比べてMERAは低い性能（90.3%）にとどまるが、信号対雑音比が低いデータセットにおいてはCNNが失敗する中で、MERAモデルが実現可能性とスケーラビリティを示している。