[논문 리뷰] Meta-Learning Symmetries by Reparameterization

Allan Zhou, Tom Knowles외 1명|arXiv (Cornell University)|2020. 07. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 54인용 수 24

한 줄 요약

이 논문은 신경망의 동치성 유도 파rameter sharing 패턴을 재매개변수화하여 자동으로 발견하고 인코딩하는 메타러닝 프레임워크를 제안한다. 데이터로부터 이러한 패턴을 학습함으로써, 이미지 벤치마크에서 최신 기준 성능을 달성하며, 표준 메타러닝 및 수작업 설계된 동치성 아키텍처를 모두 능가한다.

ABSTRACT

Many successful deep learning architectures are equivariant to certain transformations in order to conserve parameters and improve generalization: most famously, convolution layers are equivariant to shifts of the input. This approach only works when practitioners know the symmetries of the task and can manually construct an architecture with the corresponding equivariances. Our goal is an approach for learning equivariances from data, without needing to design custom task-specific architectures. We present a method for learning and encoding equivariances into networks by learning corresponding parameter sharing patterns from data. Our method can provably represent equivariance-inducing parameter sharing for any finite group of symmetry transformations. Our experiments suggest that it can automatically learn to encode equivariances to common transformations used in image processing tasks. We provide our experiment code at https://github.com/AllanYangZhou/metalearning-symmetries.

연구 동기 및 목표

• 각 작업에 대해 수작업 아키텍처 설계가 필요 없이 딥 러닝 모델에서 동치성을 자동으로 발견하는 것.
• 이동, 회전, 반사와 같은 대칭성에 대한 사전 지식에 의존하는 고정된 인덕티브 바이어스를 가진 CNN의 한계를 해결하는 것.
• 데이터로부터 파rameter sharing 패턴을 학습함으로써 이전에 하드코딩된 대신 이식 가능하고 작업에 관계없는 동치성을 가능하게 하는 것.
• 메타러닝을 통해 직접 네트워크의 가중치 구조에 대칭성을 인코딩함으로써 소수의 샘플에서의 일반화를 향상시키는 것.
• 유한 대칭군에 대해 재매개변수화를 통해 어떤 유한 대칭군에나 적용 가능한 확장 가능하고 이론적으로 탄탄한 동치성 학습 방법을 제공하는 것.

제안 방법

• 파라미터 공유 패턴을 학습 가능한 구조로 표현하기 위해 신경망 레이어를 재매개변수화하여, 모델이 동치성 유도 가중치 공유를 발견할 수 있도록 하는 것.
• 다양한 작업 분포에서 재매개변수화된 레이어를 메타러닝으로 훈련하여, 예측되지 않은 작업 간의 일반화를 최적화하는 것.
• 입력 공간에서 대칭군의 작용을 존중하는 구조화된 가중치 행렬로 파라미터 공유 패턴을 수식화하는 것.
• 군 표현 이론의 이론적 결과를 활용하여 재매개변수화된 레이어가 어떤 유한군에 대해서라도 동치 전환을 증명 가능하게 표현할 수 있도록 보장하는 것.
• 메타훈련 중에 데이터 증강을 통합하여 일반적인 변환(예: 회전, 반사, 스케일링)에 대한 불변성을 장려하는 것.
• 다양한 작업에서 일반화 오차를 최소화하는 메타러닝 목표를 사용하여 모델을 훈련시키며, 대칭 인식 가중치 공유를 핵심 인덕티브 바이어스로 삼는 것.

실험 결과

연구 질문

• RQ1 신경망이 아키텍처 사전 지식 없이 데이터로부터 일반적인 데이터 변환(예: 회전, 반사, 스케일링)에 대한 동치성을 자동으로 학습하고 인코딩할 수 있는가?
• RQ2 메타러닝을 통해 파라미터 공유 패턴을 학습하는 것이 표준 메타러닝이나 단순 데이터 증강보다 더 나은 소수의 샘플에서의 일반화를 이끌어내는가?
• RQ3 제안된 방법이 수작업 설계된 동치성 아키텍처(예: 회전 동치성 컨벌루션)를 순수하게 데이터와 메타러닝으로 복원할 수 있는가?
• RQ4 대칭군의 복잡성과 데이터 증강 전략의 복잡성이 증가함에 따라 이 방법의 성능는 어떻게 변화하는가?
• RQ5 대칭성이 사전에 명시되어 있지 않더라도, 학습된 동치성을 유지함으로써 새로운 작업으로 일반화할 수 있는가?

주요 결과

• 제안된 방법인 MSR(Meta-learned Symmetry Reparameterization)는 Aug-Omniglot 및 Aug-MiniImageNet 벤치마크에서 MAML, ANIL, ProtoNets, 심지어 수작업 설계된 D8-동치성 모델을 모두 능가하는 최신 기준 성능을 달성한다.
• 5-way 1-shot 소수의 샘플 분류에서 MSR는 Aug-Omniglot에서 95.3%의 정확도를 기록했고, Aug-MiniImageNet에서는 45.5%를 기록하여, 동일한 작업에서 MAML(89.3%)과 MAML+D8(94.6%)를 모두 초월한다.
• MSR는 더 큰 MAML 모델(MAML Big)보다 더 나은 일반화 성능을 보이며, 더 적은 총 파라미터 수로 더 높은 정확도를 달성함으로써 샘플 효율성이 향상됨을 시사한다.
• 이 방법은 표준 아키텍처에 명시적으로 구현되어 있지 않은 회전, 반사, 스케일링 등의 대칭성을 성공적으로 학습하여 인코딩한다.
• MSR는 더 어려운 Aug-MiniImageNet 벤치마크에서 ProtoNets를 능가하여, 동치성 구조를 학습하는 것이 불변 거리 공간을 학습하는 것보다 더 효과적임을 시사한다.
• 재매개변수화 메커니즘이 작업 간 이식 가능한 대칭성을 가능하게 하여, 학습된 동치성을 유지하고 저자료 환경에서의 일반화를 향상시킨다.