[論文レビュー] $C^*$-algebra Net: A New Approach Generalizing Neural Network Parameters to $C^*$-algebra

Yuka Hashimoto, Zhao Wang+1 more|arXiv (Cornell University)|Jun 20, 2022

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、$C^*$-代数値重みへのニューラルネットワークパラメータの一般化を可能にする、$C^*$-代数ネットという新規フレームワークを提案する。このフレームワークにより、連続的なモデル統合と複数のモデルの統合が可能となる。ヒルベルト$C^*$-加群を活用することで、関数値パラメータにおける勾配降下法が可能となり、限られたデータにおける密度推定およびフェイシュート学習において優れた性能を示す。

ABSTRACT

We propose a new framework that generalizes the parameters of neural network models to $C^*$-algebra-valued ones. $C^*$-algebra is a generalization of the space of complex numbers. A typical example is the space of continuous functions on a compact space. This generalization enables us to combine multiple models continuously and use tools for functions such as regression and integration. Consequently, we can learn features of data efficiently and adapt the models to problems continuously. We apply our framework to practical problems such as density estimation and few-shot learning and show that our framework enables us to learn features of data even with a limited number of samples. Our new framework highlights the potential possibility of applying the theory of $C^*$-algebra to general neural network models.

研究の動機と目的

• 実数から$C^*$-代数値関数へのニューラルネットワークパラメータの一般化を実現し、連続的なモデル統合を可能にする。
• ヒルベルト$C^*$-加群の構造を活用した$C^*$-代数値パラメータの最適化のための勾配降下法を開発する。
• 密度推定や限られた学習データにおけるフェイシュート学習といった実用的問題への応用を実施する。
• 従来の実数値モデルを超えた$C^*$-代数構造を深層学習に用いる理論的・実用的利点を示す。

提案手法

• 実数値ニューラルネットワーク重みを、特にコンパクト空間$\mathcal{Z}$上の連続関数空間$C(\mathcal{Z})$の要素に一般化する。
• 各ネットワークパラメータを$\mathcal{A} = C(\mathcal{Z})$の関数として表現することで、モデル間での連続的補間および統合を可能にする。
• 関数値パラメータ上の損失関数を用いて学習目的を定式化し、関数的回帰および統合による最適化を可能にする。
• 古典的ヒルベルト空間手法を一般化する内積および随伴作用素を定義することで、ヒルベルト$C^*$-加群への勾配降下法の適応を行う。
• パラメータ$\mu$を用いたカーネルリッジ回帰を導入し、関数的パラメータ化の柔軟性と一般化性能のバランスをとる。
• 出力を$\mathcal{Z}$上の関数としてモデル化することで、密度推定およびフェイシュート学習にフレームワークを適用し、$\mathcal{Z}$をデータポイントまたは潜在変数として解釈する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークパラメータを$\mathbb{R}$から$C^*$-代数値関数へ一般化することで、連続的なモデル結合が可能になるか？
• RQ2 ヒルベルト$C^*$-加群の構造を用いて、$C^*$-代数値パラメータの最適化のための勾配降下法をどのように拡張できるか？
• RQ3 提案されたフレームワークは、フェイシュート学習や密度推定といった低データ環境で性能を向上させるか？
• RQ4 このフレームワークは、アンサンブル学習、複素数値ネットワーク、分布パラメータ学習といった既存手法をどの程度一般化できるか？

主な発見

• フレームワークにより、$C^*$-代数値パラメータを用いた連続的な複数モデルの統合が可能となり、訓練中に相互作用を許容するため、標準的なアンサンブル学習を上回る性能を発揮する。
• フェイシュート学習において、関数的パラメータ化を学習することで、限られたサンプル数でも高いテスト精度を達成する。
• 密度推定においては、$\mu$-正則化関数パラメータを用いたカーネルリッジ回帰により、複雑なデータ分布を効果的にモデル化できる。
• 正則化パラメータ$\mu$の最適値は、一般化性能と精度のバランスをとるものであり、非常に小さいまたは非常に大きな$\mu$値では性能が低下する。
• フレームワークは、$\mathcal{Z}$が有限集合である場合や分布が制限される場合に、複素数値ネットワークや分布パラメータ学習を特殊ケースとして包含する。
• 数値結果から、$l=10$のフェイシュート例を用いたタスクにおいて、$C^*$-代数ネットは適切に$\mu$をチューニングすれば、最先端の性能を達成することが示された。