[論文レビュー] Kernel Mode Decomposition and programmable/interpretable regression networks

Houman Owhadi, Clint Scovel+1 more|arXiv (Cornell University)|Jul 19, 2019

Gaussian Processes and Bayesian Inference参考文献 109被引用数 9

ひとこと要約

本稿では、カーネルモード分解に基づくプログラマブルで解釈可能な回帰ネットワークを、パターン認識のための手法として提案する。最小上限最適近似を用いたガウス過程回帰と共分散作用素を用い、定常でない信号において正則性および分離条件のもとで、機械精度に近いモードの回復を達成する。理論的関連性は最適回復、ゲーム理論、GPRを通じてディープラーニングにまで及び、その根拠を提供する。

ABSTRACT

Mode decomposition is a prototypical pattern recognition problem that can be addressed from the (a priori distinct) perspectives of numerical approximation, statistical inference and deep learning. Could its analysis through these combined perspectives be used as a Rosetta stone for deciphering mechanisms at play in deep learning? Motivated by this question we introduce programmable and interpretable regression networks for pattern recognition and address mode decomposition as a prototypical problem. The programming of these networks is achieved by assembling elementary modules decomposing and recomposing kernels and data. These elementary steps are repeated across levels of abstraction and interpreted from the equivalent perspectives of optimal recovery, game theory and Gaussian process regression (GPR). The prototypical mode/kernel decomposition module produces an optimal approximation $(w_1,w_2,\cdots,w_m)$ of an element $(v_1,v_2,\ldots,v_m)$ of a product of Hilbert subspaces of a common Hilbert space from the observation of the sum $v:=v_1+\cdots+v_m$. The prototypical mode/kernel recomposition module performs partial sums of the recovered modes $w_i$ based on the alignment between each recovered mode $w_i$ and the data $v$. We illustrate the proposed framework by programming regression networks approximating the modes $v_i= a_i(t)y_i\big(θ_i(t)\big)$ of a (possibly noisy) signal $\sum_i v_i$ when the amplitudes $a_i$, instantaneous phases $θ_i$ and periodic waveforms $y_i$ may all be unknown and show near machine precision recovery under regularity and separation assumptions on the instantaneous amplitudes $a_i$ and frequencies $\dotθ_i$. The structure of some of these networks share intriguing similarities with convolutional neural networks while being interpretable, programmable and amenable to theoretical analysis.

研究の動機と目的

• 数値近似、統計的推論、ディープラーニングを統合する解釈可能でプログラマブルな回帰ネットワークのフレームワークを構築すること。
• ヒルバート空間における最小上限最適回復を用いて、モード分解をパターン認識の代表的問題として形式化すること。
• モジュラーかつオブジェクト指向の設計により、ニューラルネットワーク型アーキテクチャの理論的解析と収束保証を可能にすること。
• カーネルおよびモード分解を通じて、ディープラーニングのメカニズムを解読するためのロゼッタストーンのアナロジーを提供すること。
• 振幅および周波数の正則性と周波数分離条件のもとで、非三角関数的かつ非定常信号モードの機械精度に近い回復を実証すること。

提案手法

• コアとなる手法は、ヒルバート部分空間 $ V_i $ 上のノルムの積 $ \sum \|\cdot\|_{V_i}^2 $ における最小上限最適回復を用いて、その和 $ v = \sum v_i $ から成分 $ (v_1, \dots, v_m) $ を近似する、代表的なモード／カーネル分解モジュールである。
• 分解は $ w_i = Q_i (\sum Q_j)^{-1} v $ として計算され、ここで $ Q_i $ はヒルバート部分空間 $ V_i $ の共分散作用素であり、$ w_i = \mathbb{E}[\xi_i \mid \sum \xi_j = v] $ は、ゼロ平均ガウス過程 $ \xi_i \sim \mathcal{N}(0, Q_i) $ に対する後立確率期待値に等しい。
• 再構成モジュールは、回復されたモード $ w_i $ および共分散作用素 $ Q_i $ の部分和を、データ $ v $ との整合性を内積 $ \langle \cdot, \cdot \rangle_{S^{-1}} $ を通じて確保する形で行い、ここで $ S = \sum Q_i $ である。
• フレームワークは、最適回復、ゲーム理論、ガウス過程回帰（GPR）という等価な視点から各ステップを解釈する。
• 周期関数に対してはフーリエ解析と畳み込み恒等式を用い、カーネルノルムおよび共分散構造を導出するためのポisson核 $ \phi(s) = \frac{\sinh(\alpha^2/4)}{\cosh(\alpha^2/4) - \cos s} $ を使用する。
• 理論的分析により、スパースな時間周波数表現および $ L^1 $-最小化と関連づけられ、振幅および周波数の正則性と分離条件のもとで収束が保証される。

実験結果

リサーチクエスチョン

• RQ1 ヒルバート部分空間の間でモード分解を最小上限最適回復問題として形式化できるか。これにより理論的解析と解釈可能性が可能になるか？
• RQ2 ガウス過程回帰と共分散作用素を用いて、パターン認識のためのモジュラーでプログラマブルな回帰ネットワークを構築できるか？
• RQ3 このようなネットワークの構造は、畳み込みニューラルネットワークに類似した形をとるが、解釈可能かつ解析可能である程度まで、どの程度まで模倣可能か？
• RQ4 このようなネットワークは、最小限の仮定のもとで、非三角関数的かつ非定常信号モードを機械精度に近い精度で回復できるか？
• RQ5 カーネルモード分解、最適回復、ゲーム理論、ディープラーニングの間には、どのような理論的関連性があるか？

主な発見

• 提案されたモード分解モジュールは、積ノルム $ \sum \|\cdot\|_{V_i}^2 $ における $ (v_1, \dots, v_m) $ の最小上限最適回復を達成し、ノルム内での相対誤差によって誤差が上限付けられる。
• この分解は数学的に後立確率期待値 $ \mathbb{E}[\xi_i \mid \sum \xi_j = v] $ に等しく、ガウス過程におけるベイズ推論と結びつく。
• このフレームワークにより、振幅 $ a_i $ および周波数 $ \dot{\theta}_i $ が正則かつ分離されている場合、信号モード $ v_i = a_i(t) y_i(\theta_i(t)) $ の機械精度に近い回復が可能になる。
• ネットワーク構造は、特に階層的特徴抽出の観点で畳み込みニューラルネットワークに類似しており、解釈可能かつ解析可能である。
• 最適回復、ゲーム理論、GPRとの理論的接続を通じて、ディープラーニングの理論的基盤を確立し、不確実性の定量化および収束解析への道筋を提供する。
• カーネルノルムの導出 $ \|y\|^2 = \int G(t,t') y(t) y^*(t') dt dt' $ において $ G(t,t') = 2\pi \frac{\sinh(\alpha^2/2)}{\cosh(\alpha^2/2) - \cos(t-t')} $ を用いることで、周波数領域における共分散作用素の構造が裏付けられる。