[논문 리뷰] Harmonic Networks: Deep Translation and Rotation Equivariance

Daniel E. Worrall, Stephan J. Garbin외 2명|arXiv (Cornell University)|2016. 12. 14.

Advanced Vision and Imaging참고 문헌 15인용 수 30

한 줄 요약

이 논문은 원형 조화 필터를 사용하여 패치 단위의 이동 및 연속적인 360° 회전 등변성을 달성하는 컨volutional 신경망인 하모닉 네트워크(H-Nets)를 소개한다. 스템블러 필터를 통해 네트워크 아키텍처에 고정된 회전 대칭성을 삽입함으로써 H-Nets는 데이터 효율성 향상과 기능맵의 해석 가능성 향상을 이룩하면서도 파라미터 효율성과 현대 딥 러닝 기법과의 호환성을 유지하며 최신 성능을 달성한다.

ABSTRACT

Translating or rotating an input image should not affect the results of many computer vision tasks. Convolutional neural networks (CNNs) are already translation equivariant: input image translations produce proportionate feature map translations. This is not the case for rotations. Global rotation equivariance is typically sought through data augmentation, but patch-wise equivariance is more difficult. We present Harmonic Networks or H-Nets, a CNN exhibiting equivariance to patch-wise translation and 360-rotation. We achieve this by replacing regular CNN filters with circular harmonics, returning a maximal response and orientation for every receptive field patch. H-Nets use a rich, parameter-efficient and low computational complexity representation, and we show that deep feature maps within the network encode complicated rotational invariants. We demonstrate that our layers are general enough to be used in conjunction with the latest architectures and techniques, such as deep supervision and batch normalization. We also achieve state-of-the-art classification on rotated-MNIST, and competitive results on other benchmark challenges.

연구 동기 및 목표

• 표준 CNN에서 국소적 회전 등변성이 부족하여 입력이 회전할 때 예측 가능한 기능 전환이 유지되지 않는 문제를 해결하기 위해.
• 데이터 증강을 통한 회전 불변성을 달성하는 데서 비롯하는 한계를 극복하기 위해, 이는 근사적이며 계층 간 등변성을 보장하지 못하기 때문이다.
• 조화 필터를 통해 내재된 회전 대칭성을 구현하는 파라미터 효율적이고 고정된 복잡도의 네트워크 아키텍처를 설계하기 위해.
• 고정된 회전 등변성을 하드-베이킹함으로써 일반화 성능 향상, 특히 제한된 또는 증강되지 않은 훈련 데이터에서의 성능 향상을 입증하기 위해.
• 모든 계층에서 방향성과 위상 정보를 유지함으로써 더 풍부하고 더 해석 가능한 기능 표현을 가능하게 하기 위해.

제안 방법

• 표준 컨볼루션 필터를 대체로, 기저 필터의 유한한 선형 조합을 통해 모든 회전된 필터 버전을 표현할 수 있는 회전 가능한 원형 조화 필터를 사용한다.
• 고정된 조화 기저 함수 세트를 사용하여 필터를 매개변수화함으로써, 중복된 회전 복사본을 학습하지 않고도 회전 등변성을 보장한다.
• 모든 계층에서 조화 필터를 사용하여 네트워크를 구성함으로써, 입력 회전에 따른 기능맵의 예측 가능한 변환을 가능하게 한다.
• 배치 정규화 및 딥 서포비전과 같은 현대 딥 러닝 구성 요소와 H-Nets를 통합하여 아키텍처 호환성을 입증한다.
• 원형 조화의 수학적 성질을 활용하여 기능맵이 회전에 따라 예측 가능한 방식으로 변환되도록 하며, 위상과 진폭이 방향성과 반응 강도를 각각 인코딩하도록 한다.
• TensorFlow를 사용하여 네트워크를 구현하고, 회전된-MNIST 및 경계 검출을 위한 BSD500과 같은 벤치마크 데이터셋에서 성능을 검증한다.

실험 결과

연구 질문

• RQ1 표준 데이터 증강에 의존하지 않고, 패치 수준에서 연속적인 360° 회전 등변성을 달성할 수 있는 딥 CNN을 설계할 수 있는가?
• RQ2 조화 필터를 통한 하드-베이킹된 회전 등변성은 데이터 증강 훈련에 비해 데이터 효율성과 일반화 성능에서 어떻게 비교되는가?
• RQ3 표준 CNN 필터에 비해 조화 필터는 얼마나 더 높은 해석 가능성과 더 적은 파라미터 중복을 유지하는가?
• RQ4 조화 네트워크는 다수의 계층을 거쳐도 등변성을 유지할 수 있으며, 물체 분류나 경계 검출과 같은 복잡한 작업으로 일반화될 수 있는가?
• RQ5 조화 필터의 사용이 회전에 민감한 벤치마크, 예를 들어 회전된-MNIST에서 더 높은 성능을 이끌어낼 수 있는가?

주요 결과

• H-Nets는 회전된-MNIST 데이터셋에서 표준 CNN조차도 데이터 증강을 적용한 경우보다 뛰어난 최신 성능의 분류 정확도를 달성한다.
• 네트워크는 뛰어난 데이터 효율성을 보이며, 표준 CNN보다 훨씬 적은 훈련 데이터로도 높은 성능을 달성할 수 있다.
• H-Nets의 기능맵은 모든 계층에서 방향성과 위상 정보를 유지하며, 시각화 결과는 일관된 방향성 코드화와 다양한 구조적 인코딩(모서리, 모서리, 물체, 음영 영역 등)을 보여준다.
• 원형 조화를 사용함으로써 파라미터 중복이 낮고 위상 정보가 완전히 활용되며, 이는 효율적인 파라미터 사용과 중복된 필터 복사본 학습 감소를 의미한다.
• 입력 회전에 따른 기능맵의 시각화 결과를 통해 H-Nets가 모든 계층에서 회전 등변성을 유지함을 확인할 수 있으며, 이는 예측 가능한 변환 행동을 보인다.
• 사전 훈련 없이도 경계 검출 작업에서 경쟁 가능한 성능을 기록함으로써, 복잡한 비전 작업에서 강력한 일반화 능력과 표현력을 입증한다.