[論文レビュー] Greedy InfoMax for Biologically Plausible Self-Supervised Representation Learning.

Sindy Löwe, Peter O’Connor+1 more|arXiv (Cornell University)|May 28, 2019

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 5

ひとこと要約

この論文では、バックプロパゲーションを用いずに、勾配が分離されたグリーディーな方法で深層ニューラルネットワークモジュールを訓練する、生物学的に妥当な自己教師あり表現学習手法であるGreedy InfoMaxを提案する。入力と出力表現間の相互情報量をInfoNCE損失を用いて最大化することで、音声および視覚タスクにおいて優れた下流性能を達成するとともに、非常に深いネットワークの非同期的・分散型トレーニングを可能にする。

ABSTRACT

We propose a novel deep learning method for local self-supervised representation learning that does not require labels nor end-to-end backpropagation but exploits the natural order in data instead. Inspired by the observation that biological neural networks appear to learn without backpropagating a global error signal, we split a deep neural network into a stack of gradient-isolated modules. Each module is trained to maximally preserve the information of its inputs using the InfoNCE bound from Oord et al. [2018]. Despite this greedy training, we demonstrate that each module improves upon the output of its predecessor, and that the representations created by the top module yield highly competitive results on downstream classification tasks in the audio and visual domain. The proposal enables optimizing modules asynchronously, allowing large-scale distributed training of very deep neural networks on unlabelled datasets.

研究の動機と目的

• エンドツーエンドのバックプロパゲーションを回避し、神経計算における生物学的妥当性に合致する自己教師あり表現学習手法の開発。
• 生物学的神経系が学習する方法にインspiredして、グローバルな誤差信号なしに深層ネットワークを訓練する課題への対処。
• モジュール間の勾配分離により、深層ネットワークのスケーラブルで分散型のトレーニングを可能にする。
• 局所的・モジュール単位の最適化を用いて、ラベルなしデータで高い下流分類性能を達成すること。

提案手法

• ネットワークは、勾配が分離されたモジュールのスタックとして構成され、各モジュールは入力からの情報を保持するように独立に訓練される。
• 各モジュールは、入力と出力表現間の相互情報量のInfoNCE下界を最大化する。
• トレーニングはグリーディーに行われ、各モジュールは以前のモジュールの出力をもとに最適化され、以前の層を逆伝播しない。
• 各モジュール内で、データの自然な順序を用いて正例・負例ペairを定義し、対照的学習を実施する。
• モジュールは非同期にトレーニングされ、ラベルなしデータセットにおける大規模な分散トレーニングをサポートする。
• 上位のモジュールの表現が下流分類に使用され、微調整は不要である。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのバックプロパゲーションなしに、高い性能を維持しつつ自己教師あり表現学習を達成できるか？
• RQ2 スタックされたモジュールのグリーディーかつ局所的なトレーニングが、バックプロパゲーションモデルと同等の表現を生み出せるか？
• RQ3 モジュール間の勾配分離が、深層ネットワークのスケーラブルで分散型のトレーニングを可能にするか？
• RQ4 データの自然な順序を、深層アーキテクチャにおける局所的対照的学習に効果的に活用できるか？
• RQ5 グリーディーかつ生物学的にインスピレーションを受けて設計されたモジュールからの表現は、下流分類タスクにどれほど一般化できるか？

主な発見

• Greedy InfoMaxは、ラベルやバックプロパゲーションを一切使用せずに、音声および視覚ベンチマークで競争力ある下流分類精度を達成した。
• 各モジュールは、直前のモジュールの表現を改善しており、スタック全体で段階的な特徴学習が行われていることが示された。
• モジュール間の勾配分離のおかげで、非常に深いネットワークの非同期的・分散型トレーニングが可能である。
• 上位モジュールの表現は下流タスクで優れた性能を示しており、効果的な階層的特徴学習が行われていることが示された。
• このアプローチは生物学的に妥当であり、グローバルな誤差逆伝播を回避し、代わりに局所的で情報最大化の更新を用いている。
• モデルはラベルなしデータでも優れた性能を示しており、局所的トレーニングと相互情報量最大化が強力な表現を生成できることを示している。