[논문 리뷰] Deep Rotation Equivariant Network

Junying Li, Zichen Yang외 2명|arXiv (Cornell University)|2017. 05. 24.

Human Pose and Action Recognition참고 문헌 25인용 수 6

한 줄 요약

이 논문은 깊이 회전 등변성(deep rotation equivariance)을 달성하기 위해 특징 맵 대신 필터를 회전시키는 새로운 컨volution 네트워크 프레임워크인 딥 루테이션 에퀴리언트 네트워크(DREN)를 제안한다. 이는 이전 방법들에 비해 런타임을 2배 이상 단축시키고 메모리 사용량을 줄인다. DREN은 루테이티드 MNIST와 CIFAR-10에서 동일한 성능을 유지하면서도 더 효율적인 회전 등변 표현을 학습할 수 있다.

ABSTRACT

Recently, learning equivariant representations has attracted considerable research attention. Dieleman et al. introduce four operations which can be inserted into convolutional neural network to learn deep representations equivariant to rotation. However, feature maps should be copied and rotated four times in each layer in their approach, which causes much running time and memory overhead. In order to address this problem, we propose Deep Rotation Equivariant Network consisting of cycle layers, isotonic layers and decycle layers. Our proposed layers apply rotation transformation on filters rather than feature maps, achieving a speed up of more than 2 times with even less memory overhead. We evaluate DRENs on Rotated MNIST and CIFAR-10 datasets and demonstrate that it can improve the performance of state-of-the-art architectures.

연구 동기 및 목표

• 각 레이어에서 특징 맵을 복제하고 회전해야 하는 기존의 회전 등변성 컨볼루션 네트워크의 높은 계산 및 메모리 오버헤드를 해결한다.
• 성능을 희생시키지 않은 채 깊이 회전 등변 표현을 학습할 수 있는 더 효율적인 프레임워크를 개발한다.
• 추론 시간과 메모리 소비를 줄여 실용적인 회전 등변 네트워크의 구현을 가능하게 한다.
• 특징 맵 기반 방법과 동일한 등변성을 달성하면서도 효율성이 뛰어난 필터 기반 회전 방식의 타당성을 입증한다.
• 90도 간격을 넘어서 임의의 회전 각도를 지원하고 스케일 및 애핀 변환과 같은 다른 변환군으로의 등변성 일반화를 가능하게 한다.

제안 방법

• 계산 파ip라인에서 체계적으로 회전 등변성을 다룰 수 있도록 사이클 레이어, 이소톤릭 레이어, 디사이클 레이어의 세 가지 새로운 레이어를 제안한다.
• 순전파 중에 특징 맵 대신 필터를 회전시켜 매 레이어에서 특징 맵을 복제하고 회전할 필요를 제거한다.
• 순환 순열과 군 컨볼루션 연산을 적용하여 90°, 180°, 270°, 360°의 회전에 대해 등변성을 유지한다.
• 첫 번째 레이어 이후 교차 채널 풀링 메커니즘을 적용하여 등변성을 강제한다. 이는 이전 연구와 유사하지만 더 높은 효율성을 제공한다.
• 사전에 회전된 필터를 저장함으로써 런타임 오버헤드를 최소화하고 빠른 추론을 가능하게 한다.
• 이론적 분석을 통해 DREN이 [10]과 동일한 회전 등변 출력을 달성하지만, 복잡도가 감소함을 증명한다.

실험 결과

연구 질문

• RQ1 기존 방법들에 비해 계산 및 메모리 비용을 크게 줄일 수 있는 깊이 회전 등변성을 컨볼루션 네트워크에서 달성할 수 있는가?
• RQ2 특징 맵 대신 필터를 회전시키는 방식이 효율성을 향상시키면서도 동일한 수준의 회전 등변성을 유지하는가?
• RQ3 DREN은 90도 간격을 넘어서 임의의 회전 각도와 스케일, 애핀 변환과 같은 다른 변환군으로 일반화 가능한가?
• RQ4 DREN은 루테이티드 MNIST와 CIFAR-10과 같은 표준 벤치마크에서 최신 기술 모델에 비해 어떻게 성능을 내는가?
• RQ5 유사한 물체(예: 트럭과 자동차) 간의 의미적 유사성은 DREN에서 학습된 표현이 어떻게 반영되는가?

주요 결과

• DREN은 [10]에서 특징 맵을 매 레이어에서 회전하는 방식에 비해 추론 시간을 2배 이상 단축시켰다.
• DREN은 추론 중 특징 맵의 복제 및 회전을 방지함으로써 메모리 소비가 더 낮다.
• 루테이티드 MNIST에서 DREN은 더 적은 파라미터로 기존 방법들을 능가하며 더 뛰어난 샘플 효율성을 보였다.
• CIFAR-10에서 DREN은 동일한 파라미터 수를 가진 최신 기술 모델의 정확도를 향상시켰다.
• 시각화 결과 DREN만이 정확히 회전 등변 특징 맵을 생성하며, 다양한 각도의 입력에 대해 일관된 예측을 한다.
• DREN에서 학습된 표현은 의미적으로 유사한 물체(예: 자동차와 트럭) 간에 매우 높은 유사성을 보이며, 의미적 불변성과 일반화 능력을 잘 반영한다.