[論文レビュー] Neural Similarity Learning

Weiyang Liu, Zhen Liu+2 more|arXiv (Cornell University)|Oct 28, 2019

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）における内積の一般化として、二重線形行列を用いた学習可能なパrametric類似度測度であるニューラル類似度学習（NSL）を提案する。これにより、学習中に類似度の静的および動的適応が可能となり、モデルの柔軟性と一般化性能が向上する。NSLは、軽量なCNN-9バックボーンを用いてMini-ImageNetで77.44%の精度を達成するなど、少サンプル学習において最先端の性能を発揮する。

ABSTRACT

Inner product-based convolution has been the founding stone of convolutional neural networks (CNNs), enabling end-to-end learning of visual representation. By generalizing inner product with a bilinear matrix, we propose the neural similarity which serves as a learnable parametric similarity measure for CNNs. Neural similarity naturally generalizes the convolution and enhances flexibility. Further, we consider the neural similarity learning (NSL) in order to learn the neural similarity adaptively from training data. Specifically, we propose two different ways of learning the neural similarity: static NSL and dynamic NSL. Interestingly, dynamic neural similarity makes the CNN become a dynamic inference network. By regularizing the bilinear matrix, NSL can be viewed as learning the shape of kernel and the similarity measure simultaneously. We further justify the effectiveness of NSL with a theoretical viewpoint. Most importantly, NSL shows promising performance in visual recognition and few-shot learning, validating the superiority of NSL over the inner product-based convolution counterparts.

研究の動機と目的

• 畳み込みニューラルネットワークにおける固定された内積類似度の限界を是正すること。これは、多様なタスクにおいて最適でない可能性がある。
• 畳み込みネットワークにおけるカーネル形状と類似度測度の学習を、パラメトリックな二重線形行列を通じて統一すること。
• データから適応的類似度を学習することで、視覚認識および少サンプル学習における一般化性能の向上を図ること。
• 行列分解と勾配降下法を用いたNSLにおける暗黙の正則化の理論的裏付けを明らかにすること。
• 入力に依存する特徴変換を可能にする、動的およびメタ学習されたニューラル類似度の変種を開発すること。

提案手法

• 学習可能な二重線形行列を用いて内積の一般化としてニューラル類似度を提案し、柔軟な類似度学習を可能にする。
• 静的NSL（二重線形行列が固定され正則化される）と動的NSL（入力に条件づけられたニューラルネットワークによって行列が予測される）の2つのNSLバージョンを導入する。
• バックプロパゲーションを用いたエンドツーエンド学習が可能な、ニューラル類似度層を積み重ねたニューラル類似度ネットワーク（NSN）を設計する。
• 特に少サンプル設定において過学習を防ぐために、二重線形行列に正則化を適用し、パラメータ効率を制御する。
• メタ学習（MAML風）を用いてニューラル類似度行列を初期化し、未知のクラスへの高速適応を可能にする。
• パラメータ数を削減しながら表現力を維持するため、二重線形行列にブロック対角構造や共有ブロック構造を採用する。

実験結果

リサーチクエスチョン

• RQ1 学習可能でパrametricな類似度測度は、CNNにおける標準的な内積よりも優れた性能を発揮できるか？
• RQ2 動的ニューラル類似度は、静的または固定類似度と比較して、少サンプル学習における一般化性能をどのように向上させるか？
• RQ3 行列分解における勾配降下法によるNSLの暗黙の正則化の理論的根拠は何か？
• RQ4 ニューラル類似度行列をメタ学習することで、少サンプル性能が向上し、事前学習済みモデルの知識を保持できるか？
• RQ5 NSLは、視覚認識および少サンプル学習ベンチマークにおいて、既存手法を上回る性能を達成できるか？

主な発見

• 動的NSNは、軽量なCNN-9バックボーンを用いてMini-ImageNetの5ショットベンチマークで77.44%の精度を達成し、多数の先行手法を上回り、はるかに少ないパラメータ数で最先端モデルと同等の性能を発揮する。
• メタ学習された静的NSNは66.21%の精度を達成し、MAML（63.15%）を上回り、メタ初期化された類似度による一般化性能の向上を示す。
• 静的NSNは、同じCNN-4バックボーンを用いた5ショット設定で65.74%の精度を達成し、ProtoNet（68.20%）を上回る。
• 動的NSNは、RelationNet（65.32%）やMatchingNet（55.31%）を含むすべてのベースラインを大きく上回り、入力依存の類似度の利点を顕著に示す。
• 理論的分析から、NSLの行列分解が暗黙の低ランク正則化を誘発し、一般化性能の向上に寄与することが示唆される。
• 特に動的およびメタ学習されたバージョンでは、完全な微調整を必要とせず、事前学習モデルを効果的に活用できる。