[논문 리뷰] RotDCF: Decomposition of Convolutional Filters for Rotation-Equivariant Deep Networks

Xiuyuan Cheng, Qiang Qiu외 2명|arXiv (Cornell University)|2018. 05. 17.

Medical Imaging and Analysis인용 수 15

한 줄 요약

이 논문은 공간 및 회전 도메인에서의 공동 기울기 기반을 사용하여 컨볼루션 필터를 분해하는 회전 등변성 컨volution 네트워크인 RotDCF를 제안한다. 이는 모델 크기와 계산 비용을 크게 줄이고, 필터에 암묵적인 정규화를 부여한다. 이 방법은 평면 내 및 평면 외의 회전 하에서 얼굴 인식 작업에서 최신 기술 수준의 강건성과 해석 가능성 달성하며, 특징 정렬 후 기존 주제에 대해 97.04%의 정확도와 평면 외 회전에 대해 89.66%의 정확도를 기록한다.

ABSTRACT

Explicit encoding of group actions in deep features makes it possible for convolutional neural networks (CNNs) to handle global deformations of images, which is critical to success in many vision tasks. This paper proposes to decompose the convolutional filters over joint steerable bases across the space and the group geometry simultaneously, namely a rotation-equivariant CNN with decomposed convolutional filters (RotDCF). This decomposition facilitates computing the joint convolution, which is proved to be necessary for the group equivariance. It significantly reduces the model size and computational complexity while preserving performance, and truncation of the bases expansion serves implicitly to regularize the filters. On datasets involving in-plane and out-of-plane object rotations, RotDCF deep features demonstrate greater robustness and interpretability than regular CNNs. The stability of the equivariant representation to input variations is also proved theoretically under generic assumptions on the filters in the decomposed form. The RotDCF framework can be extended to groups other than rotations, providing a general approach which achieves both group equivariance and representation stability at a reduced model size.

연구 동기 및 목표

• 회전에 대해 특히 고비용인 군 등변성 컨volution 네트워크의 높은 계산 및 파라미터 비용을 해결하기 위해.
• 평면 내 및 평면 외 물체 회전 하에서 딥 테이처의 강건성과 해석 가능성 향상을 위해.
• 회전 등변성 네트워크에서 입력 변형 하에서 표현 안정성에 대한 이론적 보장을 제공하기 위해.
• 성능 저하 없이 암묵적인 정규화를 부여하는 효율적인 낮은 랭크 필터 분해를 가능하게 하기 위해.
• 일관된 분해 접근법을 통해 SO(2)를 초월한 다른 컴act Lie 군으로 프레임워크를 일반화하기 위해.

제안 방법

• 이 방법은 공간 도메인과 SO(2) 회전 군에서 각각 공동 푸리에-베셀 및 공동 푸리에 기반을 사용하여 컨볼루션 필터를 단절된 전개로 분해한다.
• ℝ² 및 SO(2)에서의 공동 컨볼루션을 정의함으로써 기울기 기반을 통해 회전 등변성을 달성한다.
• 필터 계수는 데이터로부터 학습되며, 기반(ψₖ(u)φₘ(α))은 고정되어 있어 파라미터 감소와 암묵적 정규화를 가능하게 한다.
• 특징 맵이 군 색인 채널을 사용하여 회전 방향을 인코딩하도록 수정된 네트워크 아키텍처를 사용한다.
• 추론 중 원형 이동 정렬을 적용하여 회전 등변성을 활용해 인식 정확도를 향상시킨다.
• 이론적 분석을 통해 일반적인 필터 조건 하에서 입력 변형에 대한 등변 표현의 안정성을 입증한다.

실험 결과

연구 질문

• RQ1 공동 공간 및 회전 기반에서의 필터 분해가 성능 저하 없이 회전 등변성 컨볼루션 네트워크의 모델 복잡도를 줄일 수 있는가?
• RQ2 RotDCF에서의 단절된 기반 전개가 필터를 암묵적으로 정규화하고 회전 변형에 대한 강건성을 향상시키는가?
• RQ3 RotDCF는 평면 내 및 평면 외의 회전 하에서 표준 컨볼루션 네트워크와 비교해 표현 안정성과 해석 가능성에 얼마나 기여하는가?
• RQ4 실제 회전 시나리오에서 등변 표현의 이론적 안정성 보장을 경험적으로 검증할 수 있는가?
• RQ5 RotDCF 프레임워크는 SO(2)를 초월한 다른 컴 pact Lie 군으로 일반화될 수 있는가?

주요 결과

• 특징 정렬을 통해 RotDCF는 평면 내 회전에서 기존 주제에 대해 97.04%의 인식 정확도와 미기록 주제에 대해 97.58%의 정확도를 기록했으며, 표준 컨볼루션 네트워크는 각각 0.54%와 5.05%에 그쳤다.
• 평면 외 회전에서는 RotDCF가 기존 주제에 대해 89.66%의 정확도와 미기록 주제에 대해 97.01%의 정확도를 기록했고, 표준 컨볼루션 네트워크는 각각 80.79%와 89.97%였다.
• 클래스 활성화 맵 (CAM) 분석 결과, RotDCF는 표준 컨볼루션 네트워크보다 더 일관된 분류적 영역을 다양한 각도의 이미지에서 선택함으로써 표현 안정성이 뛰어나다는 것을 보여주었다.
• 분해 과정은 성능 유지와 함께 모델 크기와 계산 복잡도를 감소시키며, 단절에 의한 정확도 저하가 최소한이었다.
• 이론적 분석을 통해 분해된 필터 형태가 일반적인 가정 하에서 입력 변형에 대한 등변 표현의 안정성을 보장함을 확인했다.
• 구체적인 기반(예: 구면 조화 함수)을 선택함으로써 SO(3)와 같은 다른 군으로도 일반화 가능함을 보였다.