[論文レビュー] Mine Your Own vieW: Self-Supervised Learning Through Across-Sample Prediction

Mehdi Azabou, Mohammad Gheshlaghi Azar+11 more|arXiv (Cornell University)|Feb 19, 2021

Domain Adaptation and Few-Shot Learning参考文献 60被引用数 13

ひとこと要約

Mine Your Own vieW (MYOW) は、データオーグメンテーションに依存するのではなく、データセット内の最近傍を正例ビューとして使用することで表現学習を向上させる自己教師あり学習手法である。この手法は、両方の増幅済みビューとマイニングされたビューの両方の表現を予測する段階的な二重プロジェクタアーキテクチャを採用しており、画像ベンチマークにおいて最先端の性能を達成するとともに、神経記録データにおける神経科学的応用において教師ありベースラインを上回っている。

ABSTRACT

State-of-the-art methods for self-supervised learning (SSL) build representations by maximizing the similarity between different transformed "views" of a sample. Without sufficient diversity in the transformations used to create views, however, it can be difficult to overcome nuisance variables in the data and build rich representations. This motivates the use of the dataset itself to find similar, yet distinct, samples to serve as views for one another. In this paper, we introduce Mine Your Own vieW (MYOW), a new approach for self-supervised learning that looks within the dataset to define diverse targets for prediction. The idea behind our approach is to actively mine views, finding samples that are neighbors in the representation space of the network, and then predict, from one sample's latent representation, the representation of a nearby sample. After showing the promise of MYOW on benchmarks used in computer vision, we highlight the power of this idea in a novel application in neuroscience where SSL has yet to be applied. When tested on multi-unit neural recordings, we find that MYOW outperforms other self-supervised approaches in all examples (in some cases by more than 10%), and often surpasses the supervised baseline. With MYOW, we show that it is possible to harness the diversity of the data to build rich views and leverage self-supervision in new domains where augmentations are limited or unknown.

研究の動機と目的

• 自己教師あり学習（SSL）における固定されたデータオーグメンテーションの限界、すなわち意味的多様性を十分に捉えられず、ドメイン間での一般化が不十分であるという問題に取り組む。
• 表現空間における近接性を用いて、データセットから直接多様で意味的に意味のあるビューをマイニングできるかどうかを検討する。
• 負例を必要とせず、増幅済みビューとマイニングされたビューの両方を統合する包括的なSSLフレームワークを構築する。
• 効果的なデータオーグメンテーションが不明または限られている分野、特に神経科学分野へのSSLの拡張を試みる。
• サンプル間の最近傍予測が、標準的な対照的またはインスタンスレベルのSSL手法よりも強力な表現を生み出せるかどうかを実証する。

提案手法

• 本手法は段階的な二重プロジェクタアーキテクチャを導入する：最初のプロセッサは同じサンプルの増幅ビューを予測するのに対し、2番目のプロセッサは潜在空間における近接するサンプルの表現を予測する。
• マイニングされたビューは、アンカー・サンプルのオンラインネットワーク出力表現に対して、候補となる表現プールからターゲットネットワークの表現との間でk-近傍（k-NN）を計算することで選択される。
• 2番目のプロジェクタは1番目の出力を活用することで、意味的に類似しているが異なるサンプルの表現を予測する能力をモデルが学習できる。
• フレームワークはBYOLに基づいて構築されており、負例の必要性を排除し、学習ダイナミクスを単純化している。
• 神経記録データに対して、普遍的な時間的および空間的オーグメンテーションを適用することで、種間（霊長目、ラット、マウス）で一貫した事前学習を可能にしている。
• 局所的（時間的）および非局所的（サンプル間）の両方の予測を活用することで、長距離依存性とより豊かな表現を捉える。

実験結果

リサーチクエスチョン

• RQ1 表現空間における最近傍サンプルは、自己教師あり学習における効果的で多様な正例ビューとして機能できるか？
• RQ2 標準的なデータオーグメンテーションと比較して、データセットからのマイニングされたビューは表現品質にどのように寄与するか？
• RQ3 神経記録データのようにオーグメンテーションが限られている、あるいは不明な分野へ、MYOWは一般化可能か？
• RQ4 神経科学的応用において、標準的なインスタンスレベルまたは対照的SSL手法と比較して、サンプル間予測は性能向上に寄与するか？
• RQ5 MYOWによる自己教師あり学習は、脳解読タスクにおいて教師ありベースラインを上回るか？

主な発見

• CIFAR-10、CIFAR-100、Tiny ImageNetにおいて、MYOWはBYOL や SimCLR などの最先端手法と同等またはそれ以上の性能を達成している。
• 脳解読タスクにおいて、MYOWは一部の神経記録データセット（運動皮質からの運動予測、V1および海馬からの睡眠ステージ分類）において、他の自己教師あり手法を10%以上上回っている。
• 神経データセットにおいて、ドロップアウトと重み減衰を用いて訓練された教師ありベースラインを、ラベルなしデータであるにもかかわらず一貫して上回っている。
• 表現空間におけるk-NNを用いた非局所的、サンプル間の予測が、単に局所的な時間的予測に依存する場合と比較して、性能向上に顕著な寄与をしていることが示された。
• 時間的および空間的オーグメンテーションに加えてマイニングされたビューを組み合わせることが、脳状態の意味のある表現を学習するために不可欠である。
• MYOWは、単一ニューロンレベルでのマルチユニット神経記録への自己教師あり学習の最初の応用を確立し、脳信号解析の新たな道を開いた。