[논문 리뷰] Learning to Convolve: A Generalized Weight-Tying Approach

Nichita Diaconu, Daniel E. Worrall|UvA-DARE (University of Amsterdam)|2019. 05. 12.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 연속적인 변환의 후행 이산화로 인해 발생하는 기존의 로토-트랜슬레이션 그룹 CNN에서의 비등변성 문제를 해결하기 위해, 학습 가능한 일반화된 웨이트 타이잉 방법을 제안한다. 이 방법은 보간법에 의존하지 않고 기저 분해를 통해 필터 변환(특히 회전)을 학습한다. 필터를 학습된 기저에서의 계수로 표현하고, 필터 자체가 아닌 기저를 회전시킴으로써, 우수한 등변성과 입력 회전에 대한 강건성을 달성한다. 이는 MNIST와 CIFAR-10에서 이중선형 보간법 및 푸리에 기반 보간법보다 뛰어난 성능을 보이며 경쟁 가능한 정확도를 달성한다.

ABSTRACT

Recent work (Cohen & Welling, 2016) has shown that generalizations of convolutions, based on group theory, provide powerful inductive biases for learning. In these generalizations, filters are not only translated but can also be rotated, flipped, etc. However, coming up with exact models of how to rotate a 3 x 3 filter on a square pixel-grid is difficult. In this paper, we learn how to transform filters for use in the group convolution, focussing on roto-translation. For this, we learn a filter basis and all rotated versions of that filter basis. Filters are then encoded by a set of rotation invariant coefficients. To rotate a filter, we switch the basis. We demonstrate we can produce feature maps with low sensitivity to input rotations, while achieving high performance on MNIST and CIFAR-10.

연구 동기 및 목표

• 지속적인 변환의 후행 이산화로 인해 발생하는 기존의 로토-트랜슬레이션 그룹 CNN에서의 비등변성 문제를 해결하기 위해.
• 고정된 보간 규칙에 의존하지 않고, 필터를 어떻게 회전시킬지 학습하는 일반화된 웨이트 타이잉 메커니즘을 개발하기 위해.
• 회전 불변 필터 표현을 학습하여 입력 회전에 대한 그룹 CNN의 강건성과 성능을 향상시키기 위해.
• 학습된 필터 변환 방식이 수작업으로 설계된 보간 방법보다 더 뛰어난 등변성과 분류 정확도를 달성할 수 있음을 입증하기 위해.

제안 방법

• 필터는 학습된 기저 필터의 선형 조합으로 표현되며, 계수는 회전에 대해 불변하다.
• 필터의 회전은 계수 벡터를 유지하면서 학습된 기저의 회전된 형태로 전환함으로써 달성된다.
• 기저와 그 회전된 형태는 엔드 투 엔드로 훈련되어, 이산적 회전에 최적의 보간을 학습할 수 있도록 한다.
• 이 방법은 허용되는 변환 기반의 변환을 허용하는 표준 웨이트 타이잉을 일반화하며, 예를 들어 보간된 회전과 같은 비치환 기반 변환도 가능하게 한다.
• 이 프레임워크는 컬라션 내적에 대해 유니터리 변환을 보장하여 등변성을 보장한다.
• 이 방법은 이산적 로토-트랜슬레이션 그룹에 적용되며, MNIST와 CIFAR-10에서 실험을 수행한다.

실험 결과

연구 질문

• RQ1 로토-트랜슬레이션 그룹 CNN에서 수작업으로 설계된 보간법보다 학습된 기저 표현 방식이 더 뛰어난 등변성을 달성할 수 있는가?
• RQ2 학습된 필터 변환 방식은 이중선형 또는 푸리에 기반 보간법보다 입력 회전에 대해 더 강건한가?
• RQ3 기저의 회전을 학습하는 일반화된 웨이트 타이잉 메커니즘이 고정된 변환 규칙보다 정확도와 안정성 측면에서 뛰어나게 성능을 내는가?
• RQ4 비유니터리 변환(예: 이중선형 보간)이 그룹 CNN에서 등변성에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 입력 회전에 대한 민감도를 크게 줄이며 높은 성능을 유지할 수 있는가?

주요 결과

• 제안된 방법은 이중선형, 가우시안, 푸리에 기반 보간법보다 등변성 오차가 낮으며, 특히 깊은 층에서 두드러진다.
• 기저 학습의 '부분(Partial)' 방법이 '전체(Full)' 방법보다 등변성 측면에서 뛰어나며, 이는 전체 기저에서의 작은 비대칭성이 깊이에 따라 성능 저하를 유발함을 시사한다.
• CIFAR-10에서 경쟁 가능한 분류 정확도를 달성하였으며, 유사한 능력의 기준 모델과 비교해도 이를 충족하거나 초월한다.
• 기존 방법보다 입력 회전에 대한 민감도가 낮아, 회전 변형에 대한 강건성이 크게 향상됨을 입증하였다.
• 비유니터리 필터 변환(예: 이중선형 보간)이 등변성을 파괴함을 규명하였으며, 이는 이전 연구에서의 열악한 성능을 설명한다.
• 결과적으로 학습된 변환 기저가 대칭을 유지하는 데이터 증강 조건 하에서 더 안정된 표현과 일반화 능력을 제공함을 확인하였다.