[논문 리뷰] Neural Similarity Learning

Weiyang Liu, Zhen Liu외 2명|arXiv (Cornell University)|2019. 10. 28.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

이 논문은 뉴럴 유사도 학습(NSL)을 제안하며, 이는 컨volutional 네트워크(CNNs)에서 이차형 행렬을 사용하여 내적의 일반화된 학습 가능한 매개변수 유사도 측정법이다. 이는 훈련 중에 정적 및 동적 방식으로 유사도를 조정할 수 있도록 하여 모델의 유연성과 일반화 능력을 향상시킨다. NSL은 소수의 샘플로 학습하는 데서도 최고 성능을 기록하며, 특히 동적 NSN은 경량의 CNN-9 백본을 사용해 Mini-ImageNet에서 77.44%의 정확도를 달성한다.

ABSTRACT

Inner product-based convolution has been the founding stone of convolutional neural networks (CNNs), enabling end-to-end learning of visual representation. By generalizing inner product with a bilinear matrix, we propose the neural similarity which serves as a learnable parametric similarity measure for CNNs. Neural similarity naturally generalizes the convolution and enhances flexibility. Further, we consider the neural similarity learning (NSL) in order to learn the neural similarity adaptively from training data. Specifically, we propose two different ways of learning the neural similarity: static NSL and dynamic NSL. Interestingly, dynamic neural similarity makes the CNN become a dynamic inference network. By regularizing the bilinear matrix, NSL can be viewed as learning the shape of kernel and the similarity measure simultaneously. We further justify the effectiveness of NSL with a theoretical viewpoint. Most importantly, NSL shows promising performance in visual recognition and few-shot learning, validating the superiority of NSL over the inner product-based convolution counterparts.

연구 동기 및 목표

• 고정된 내적 유사도 측정법이 다양한 작업에서 최적일 수 없음을 해결하기 위해.
• 매개변수화된 이차형 행렬을 통해 컨volutional 네트워크에서 커널 형태와 유사도 측정법의 학습을 통합하기 위해.
• 데이터로부터 적응 가능한 유사도를 학습시켜 시각 인식 및 소수의 샘플로 학습하는 데서의 일반화 능력을 향상시키기 위해.
• 행렬 분해와 경사 하강법을 통한 NSL의 암묵적 정규화의 이론적 근거를 탐구하기 위해.
• 입력에 따라 특징을 변환할 수 있는 동적 및 메타학습된 뉴럴 유사도의 변형을 개발하기 위해.

제안 방법

• 학습 가능한 이차형 행렬을 사용하여 내적의 일반화된 뉴럴 유사도를 제안하며, 이는 민감한 유사도 학습을 가능하게 한다.
• 두 가지 NSL 변형을 도입한다: 정적 NSL은 이차형 행렬이 고정되고 정규화되며, 동적 NSL은 입력 조건에 따라 신경망을 통해 이차형 행렬을 예측한다.
• 뉴럴 유사도를 쌓은 레이어를 통해 뉴럴 유사도 네트워크(NSN)를 설계하여 back-propagation을 통한 엔드 투 엔드 훈련을 가능하게 한다.
• 특히 소수의 샘플로 학습하는 환경에서 과적합을 방지하고 파rameter 효율성을 제어하기 위해 이차형 행렬에 정규화를 적용한다.
• 메타학습(MAML 방식)을 사용해 뉴럴 유사도 행렬을 초기화함으로써 새로운 클래스에 빠르게 적응할 수 있도록 한다.
• 파라미터 수를 줄이면서도 표현력을 유지하기 위해 이차형 행렬에 블록 대각형 및 공유 블록 구조를 도입한다.

실험 결과

연구 질문

• RQ1 학습 가능한 매개변수 유사도 측정법이 CNN 내 표준 내적 유사도를 초월할 수 있는가?
• RQ2 동적 뉴럴 유사도가 정적 또는 고정된 유사도보다 소수의 샘플로 학습에서 더 나은 일반화를 이끌어내는가?
• RQ3 매트릭스 분해에 대한 경사 하강법을 통한 NSL의 암묵적 정규화에 대한 이론적 근거는 무엇인가?
• RQ4 뉴럴 유사도 행렬을 메타학습함으로써 소수의 샘플로 학습 성능을 향상시키고 사전 학습된 모델 지식을 유지할 수 있는가?
• RQ5 NSL은 시각 인식 및 소수의 샘플로 학습하는 벤치마크에서 기존 방법보다 더 높은 성능을 달성하는가?

주요 결과

• 동적 NSN은 경량의 CNN-9 백본을 사용해 Mini-ImageNet 5-shot 벤치마크에서 77.44%의 정확도를 기록하며 대부분의 이전 방법을 능가하고, 훨씬 적은 파라미터로 최고 수준의 성능을 달성한다.
• 메타학습된 정적 NSN은 66.21%의 정확도를 기록하며 MAML(63.15%)을 뛰어넘고, 메타초기화된 유사도를 통해 일반화 능력이 향상됨을 보여준다.
• 정적 NSN은 동일한 CNN-4 백본을 사용할 때 5-shot 설정에서 ProtoNet(68.20%)를 능가하는 65.74%의 정확도를 기록한다.
• 동적 NSN은 RelationNet(65.32%) 및 MatchingNet(55.31%)을 포함한 모든 베이스라인보다 뚜렷이 뛰어나며, 입력에 따라 유사도를 조정할 수 있는 장점을 입증한다.
• 이론적 분석은 NSL의 매트릭스 분해가 암묵적 저랭크 정규화를 유도하며, 이는 더 나은 일반화에 기여함을 시사한다.
• 특히 동적 및 메타학습된 변형에서 사전 학습된 모델을 소수의 샘플로 학습에 효과적으로 활용할 수 있으며, 전체 미세조정 없이도 성능 향상을 이룬다.