[論文レビュー] Online Learning with Gated Linear Networks

Joel Veness, Tor Lattimore+4 more|arXiv (Cornell University)|Dec 5, 2017

Machine Learning and Algorithms参考文献 29被引用数 17

ひとこと要約

この論文は、非線形活性化関数の代わりにデータに依存するゲーティングを用いる、対数損失の下でのオンライン密度推定のための確率的アーキテクチャ族、ゲーテッド・ラインアーモデル（GLNs）を導入する。この手法は、1回のオンラインパスで深層学習モデルと同等の性能を達成し、79.0 nats/画像の最先端の性能を示しており、ノーレグレット学習の下で普遍近似の理論的保証を有する。

ABSTRACT

This paper describes a family of probabilistic architectures designed for online learning under the logarithmic loss. Rather than relying on non-linear transfer functions, our method gains representational power by the use of data conditioning. We state under general conditions a learnable capacity theorem that shows this approach can in principle learn any bounded Borel-measurable function on a compact subset of euclidean space; the result is stronger than many universality results for connectionist architectures because we provide both the model and the learning procedure for which convergence is guaranteed.

研究の動機と目的

• 高次元密度モデリングのための理論的裏付けのあるオンライン学習フレームワークを構築し、オフラインの深層学習手法の限界を回避すること。
• データ圧縮アルゴリズムのPAQファミリーの実験的成功を、統一的なアーキテクチャ的および学習理論的枠組みで説明すること。
• データに依存するゲーティングを用いたオンライン学習が、バッチ学習された最新の深層生成モデルと同等の性能を達成できることを示すこと。
• GLNsが、ユークリッド空間のコンact部分集合上で有界なボレル可測関数を任意に近似可能であることを示す学習可能容量定理を提示すること。
• コンテキストミキシングアーキテクチャを微分可能GLNsに再定式化することで、現代のハードウェア上で効率的かつスケーラブルな実装を可能にすること。

提案手法

• 各ニューロンの活性化が、コンテキスト関数（例：スキップグラム、マックスプーリング、距離関数）を介して入力データに依存するゲーティング機構を用いる。従来の非線形関数に代わる。
• 重みの更新に局所的でノーレグレットなオンライン学習ルールを採用し、対数損失の下で最適な予測への収束を保証する。
• 35-60-35-70アーキテクチャの4層GLNを構築し、各層に200個のランダムに配置されたコンテキスト関数を用いて、表現力がありデータに適応するモデリングを可能にする。
• オンライン学習中の初期学習と収束安定性のバランスを取るために、学習率スケジュールとして $\min\{25/t, 0.005\}$ を適用する。
• 画像モデリングにおいて、コンテキストごとのスキップグラム確率のオンライン推定にゼロリダンダント推定器（Willems et al., 1997）を用いる。
• 局所的な画像構造のモデリングを向上させるために、画像固有のコンテキスト関数（マックスプーリング、距離ベースのコンテキストなど）を導入する。

実験結果

リサーチクエスチョン

• RQ1 データに依存するゲーティングに基づくニューラルネットワークアーキテクチャは、オンライン学習の下で、有界なボレル可測関数を普遍的に近似可能か？
• RQ2 コンテキストミキシングアルゴリズム（PAQ や cmix など）は、実際の圧縮および密度推定性能が極めて優れているが、その理由は何か？
• RQ3 ノーレグレット最適化を用いたオンライン学習は、高次元密度推定において、バッチ学習された最新の深層生成モデルの性能に匹敵できるか？
• RQ4 特殊化されたコンテキスト関数（例：マックスプーリング、距離ベース）は、画像密度推定におけるモデリングの効率性と正確性をどのように向上させるか？
• RQ5 GLNフレームワークは、理論的保証を伴って、既存の圧縮およびオンライン学習技術をどれほど統合的かつ一般化できるか？

主な発見

• GLNフレームワークは、データを1回のオンラインパスで処理するだけで、MNISTデータセットで平均79.0 nats/画像の損失を達成し、正確な確率を保証するバッチモデルの中での最先端性能を達成している。
• この手法は、データに依存するゲーティングが、ユークリッド空間のコンパクト部分集合上で有界なボレル可測関数を普遍的に近似可能であり、ノーレグレット学習の下で収束が保証されることを示している。
• PAQファミリーの圧縮アルゴリズム、特にcmixは、GLNsの特別なケースであることが示され、その実験的成功が統一的な理論的枠組みで説明された。
• 画像固有のコンテキスト関数（マックスプーリング、距離ベースのコンテキスト）は、単一のスキップグラムモデルに比べて顕著に性能を向上させた。
• 理論的分析により、GLNsで用いられる局所的ノーレグレット学習ルールが、区分的定常源の下で正当化され、凸な即時の損失関数が収束を保証することが確認された。
• GLNフレームワークは、ベクトル化された行列演算を介してGPU加速された学習を可能にし、ハードウェアの進歩に伴うスケーラビリティが見込まれる。