[논문 리뷰] Learning invariances in neural networks

Gregory W. Benton, Marc Finzi외 2명|arXiv (Cornell University)|2020. 01. 01.

Machine Learning in Bioinformatics인용 수 2

한 줄 요약

이 논문은 신경망 가중치와 데이터 증강에 대한 분포의 파라미터를 함께 최적화하여 데이터의 불변성과 등변성(-equivariance)을 자동으로 학습하는 방법을 제안한다. 엔드 투 엔드 학습을 통해 모델은 훈련 데이터로부터 직접 번역, 회전 또는 스케일링과 같은 올바른 대칭군과 그 정도를 발견하며, 이미지 분류, 회귀, 세그멘테이션 및 분자 성질 예측 작업 전반에서 일반화 성능을 향상시킨다.

ABSTRACT

Invariances to translations have imbued convolutional neural networks with powerful generalization properties. However, we often do not know a priori what invariances are present in the data, or to what extent a model should be invariant to a given symmetry group. We show how to \emph{learn} invariances and equivariances by parameterizing a distribution over augmentations and optimizing the training loss simultaneously with respect to the network parameters and augmentation parameters. With this simple procedure we can recover the correct set and extent of invariances on image classification, regression, segmentation, and molecular property prediction from a large space of augmentations, on training data alone.

연구 동기 및 목표

• 실세계 데이터에서 알려지지 않았거나 모호한 불변성(예: 번역, 회전, 스케일링)에 대응하기 위해, 기존에 가정하거나 수작업으로 설정하는 것과는 달리 딥러닝에서 일반적으로 사용되는 방식을 해결하고자 한다.
• 고정된 증강 기반에 의존하지 않고, 주어진 작업에 대해 올바른 불변성의 조합과 정도를 자동으로 식별하는 방법을 개발하고자 한다.
• 데이터에 내재된 대칭성과 일치하는 최적의 증강 분포를 학습하여 모델의 일반화 성능을 향상시키고자 한다.
• 다양한 작업에 적용 가능한 단일 미분 가능한 프레임워크 내에서 불변성과 등변성 학습을 통합하고자 한다.

제안 방법

• 이동 범위, 회전 각도 또는 스케일링 요소와 같은 가속 가능한 파라미터를 사용하여 데이터 증강에 대한 분포를 매개변수화한다.
• 증강 샘플링 과정을 미분 가능하게 하여 증강 분포를 훈련 과정에 통합한다.
• 역전파를 통해 네트워크 가중치와 증강 파라미터 양쪽에 대해 훈련 손실을 동시에 최적화한다.
• 훈련 중에 몬테카를로 샘플링을 통해 학습된 증강 분포에 대한 기대 손실을 추정한다.
• 이 프레임워크를 이미지 분류, 회귀, 세분화, 분자 성질 예측 등 다양한 작업에 적용한다.
• 대칭군이나 그 정도에 대한 사전 지식이 없이도 불변성의 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경망이 데이터에 존재하는 올바른 불변성 군(예: 번역, 회전)을 자동으로 발견할 수 있는가?
• RQ2 어느 정도까지 모델이 특정 대칭성에 대해 불변이어야 하는가? 이 정도는 데이터로부터 학습될 수 있는가?
• RQ3 고정된 증강 기반과 비교해 볼 때, 증강과 모델 파라미터를 함께 학습하는 것이 일반화 성능을 향상시키는가?
• RQ4 이 방법은 구조적 예측 작업에서 불변성 외에도 등변성 패턴을 발견할 수 있는가?

주요 결과

• 이 방법은 큰 후보 증강 공간에서 이미지 분류 및 세그멘테이션 작업에서 번역이나 회전과 같은 올바른 불변성 구조를 성공적으로 복원한다.
• 학습된 증강 분포는 표준 고정 증강보다 더 잘 일반화되어 더 높은 내성성과 테스트 정확도를 달성한다.
• 수동으로 지정하지 않고도 적절한 회전 범위와 같은 의미 있는 불변성 정도를 학습한 결과를 도출한다.
• 분자 기하학적 성질에 관련된 올바른 불변성을 학습함으로써 분자 성질 예측 작업에서 성능을 향상시킨다.