[논문 리뷰] RelationNet2: Deep Comparison Columns for Few-Shot Learning

Xueting Zhang, Yuting Qiang외 3명|arXiv (Cornell University)|2018. 11. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 48인용 수 18

한 줄 요약

RelationNet2는 관계 모듈을 통해 계층적 특징 수준에서 다중 비선형 거리 측도를 동시에 학습함으로써 소수의 샘플로도 성능을 향상시키는 딥 커플링 네트워크(Deep Comparison Network, DCN)를 제안한다. 또한 과적합을 방지하기 위해 가우시안 노이즈 정규화를 통한 분포 기반 특징 임베딩을 사용한다. 이 방법은 miniImageNet 및 tiered-ImageNet 벤치마크에서 최신 기술 수준의 성능을 달성하며 일반화 능력과 아키텍처의 단순성 모두 향상시킨다.

ABSTRACT

Few-shot deep learning is a topical challenge area for scaling visual recognition to open ended growth of unseen new classes with limited labeled examples. A promising approach is based on metric learning, which trains a deep embedding to support image similarity matching. Our insight is that effective general purpose matching requires non-linear comparison of features at multiple abstraction levels. We thus propose a new deep comparison network comprised of embedding and relation modules that learn multiple non-linear distance metrics based on different levels of features simultaneously. Furthermore, to reduce over-fitting and enable the use of deeper embeddings, we represent images as distributions rather than vectors via learning parameterized Gaussian noise regularization. The resulting network achieves excellent performance on both miniImageNet and tieredImageNet.

연구 동기 및 목표

• 제한된 레이블이 있는 예시에서 소수 샘플 시각 인식 문제를 해결하고, 특히 개방형 학습 환경에서의 도전 과제를 다루기 위해.
• 단순 선형 거리 측도를 넘어서 비선형적이고 다중 수준의 특징 비교를 가능하게 하여 소수 샘플 학습의 일반화 능력을 향상시키기 위해.
• 특히 더 깊은 아키텍처를 사용할 경우 소수 샘플 데이터로 학습할 때 딥 네트워크의 과적합을 줄이기 위해.
• 특정 작업에 맞는 미세조정이 필요로 하지 않으면서도 빠른 추론과 학습을 유지하기 위해.
• 특징 계층의 여러 추상화 수준에서 효과적인 기울기 흐름과 표현 학습을 가능하게 하기 위해.

제안 방법

• 프레임워크는 표준 벡터 임베딩 대신 매개변수화된 가우시안 노이즈 정규화를 통해 특징 분포를 출력하는 딥 임베딩 네트워크를 사용한다.
• 다양한 수준의 특징 계층에서 작동하는 다중 관계 모듈을 도입하여 각각 해당 특징 표현에서 비선형 거리 측도를 학습한다.
• 각 관계 모듈은 깊은 지도 학습을 받으며, 계층 전체에서 더 나은 기울기 흐름과 향상된 학습 안정성을 가능하게 한다.
• 학습 가능한 어텐션을 통해 모듈 가중치를 조정하여 다양한 관계 모듈의 예측을 동적으로 통합함으로써 수동으로 초모수를 조정하는 데 의존도를 줄인다.
• 보조 소수 샘플 작업을 사용하여 엔드 투 엔드로 네트워크를 학습하며, 새로운 클래스에 신속하게 적응할 수 있는 작업에 종속되지 않는 메타 지식을 학습한다.
• 분류 및 유사도 매칭 모두를 지원하며, 추론은 임베딩 공간 내에서 최근접 이웃 비교에 기반한다.

실험 결과

연구 질문

• RQ1 다양한 추상화 수준에서 작동하는 다중 비선형 비교 모듈이 단일 수준의 거리 측도보다 소수 샘플 일반화 능력을 향상시키는가?
• RQ2 스토캐스틱 정규화를 통해 특징을 분포로 표현하면 추론 비용을 증가시키지 않으면서도 소수 샘플 학습에서 일반화 능력을 향상시키는가?
• RQ3 관계 모듈에 깊은 지도 학습을 적용하면 딥 메트릭 학습 프레임워크의 성능과 학습 안정성 향상에 기여하는가?
• RQ4 특징 계층의 다른 깊이에서 작동하는 관계 모듈이 예측의 다양성과 상호보완성에 어떻게 기여하는가?
• RQ5 제안된 방법이 tiered-ImageNet과 같은 도전적인 벤치마크에서 기존 최신 기술 수준의 소수 샘플 학습 모델을 얼마나 뛰어넘는가?

주요 결과

• RelationNet2는 miniImageNet 및 tiered-ImageNet 벤치마크에서 기존의 RelationNet, ProtoNet, MAML 등과 같은 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.
• 제거 실험을 통해 관계 모듈의 깊은 지도 학습이 성능 향상에 상당한 기여를 한다는 것이 확인되었으며, DCN-No Deep Sup.는 정확도가 뚜렷이 떨어지는 것으로 나타났다.
• 모듈 조합을 위한 어텐션 가중치 학습은 수동으로 설정한 가중치보다 성능을 향상시키며, 초모수 조정이 필요 없음을 보여준다.
• 각 개별 관계 모듈도 경쟁력 있는 성능를 보이지만, 그 조합이 가장 뛰어난 결과를 내어 다중 수준 특징 비교의 가치를 확인한다.
• 관계 모듈 간의 예측 상관관계가 낮아(최소 0.34) 서로 다른 예측을 내며 상호 중복성이 낮음을 보이며, 인접한 모듈 간의 상관관계는 비인접 모듈 간보다 높은 편이다.
• 점수-거리 상관관계 분석을 통해 관계 모듈의 점수들이 ImageNet의 의미적 거리와 일치함을 확인하여 그 해석 가능성과 분류 능력이 검증되었다.