[논문 리뷰] HexaConv

Emiel Hoogeboom, Jorn W. T. Peters외 2명|arXiv (Cornell University)|2018. 03. 06.

Advanced Image and Video Retrieval Techniques인용 수 10

한 줄 요약

이 논문은 6중 회전 대칭성을 활용하여 정사각형 격자에 비해 더 높은 대칭성과 감소된 이방성으로 성능을 향상시키는 효율적인 군 컨벌루션을 위한 HexaConv를 소개한다. 최적화된 컨벌루션 루틴을 재사용하고, 이로 인해 성능이 향상된다. HexaConv는 항공 영상 분류에서 최신 기준 성능을 달성하며, 무작위 초기화 상태에서도 표준 CNN 및 ImageNet 미사전학습 모델을 능가한다.

ABSTRACT

The effectiveness of Convolutional Neural Networks stems in large part from their ability to exploit the translation invariance that is inherent in many learning problems. Recently, it was shown that CNNs can exploit other invariances, such as rotation invariance, by using group convolutions instead of planar convolutions. However, for reasons of performance and ease of implementation, it has been necessary to limit the group convolution to transformations that can be applied to the filters without interpolation. Thus, for images with square pixels, only integer translations, rotations by multiples of 90 degrees, and reflections are admissible. Whereas the square tiling provides a 4-fold rotational symmetry, a hexagonal tiling of the plane has a 6-fold rotational symmetry. In this paper we show how one can efficiently implement planar convolution and group convolution over hexagonal lattices, by re-using existing highly optimized convolution routines. We find that, due to the reduced anisotropy of hexagonal filters, planar HexaConv provides better accuracy than planar convolution with square filters, given a fixed parameter budget. Furthermore, we find that the increased degree of symmetry of the hexagonal grid increases the effectiveness of group convolutions, by allowing for more parameter sharing. We show that our method significantly outperforms conventional CNNs on the AID aerial scene classification dataset, even outperforming ImageNet pre-trained models.

연구 동기 및 목표

• 6중 회전 대칭성을 활용하여 보간을 피하는 방식으로 정사각형 격자에서의 군 컨벌루션을 위한 효율적인 방법을 개발한다.
• 고정된 파rameter 예산 하에서 정사각형 격자에 비해 헥사고날 픽셀화가 이방성을 감소시키고 성능을 향상시킨다.
• 군 등변형 네트워크에서 고차 대칭성(p6)이 파라미터 공유와 모델 정확도를 향상시킨다.
• 회전 불변성이 핵심 인덕티브 바이어스인 실세계 데이터셋(예: 항공 영상 분류)에서 HexaConv의 효과를 평가한다.

제안 방법

• 필터 변환(FT)을 통해 군 컨벌루션을 구현하고 평면 헥사고날 컨벌루션을 수행함으로써 기존 최적화된 컨벌루션 루틴을 재사용한다.
• 60도의 회전 대칭성을 가진 헥사고날 격자를 사용하여 보간 없이 정확한 필터 회전을 가능하게 한다.
• p6 군에 기반한 그룹 컨벌루션을 사용하는 수정된 ResNet 아키텍처를 채택하며, 세 단계와 각 단계당 두 개의 블록을 포함한다.
• 최전단에서 공간 및 방향 채널 풀링을 적용하여 방향 불변성을 달성한다.
• 평면 컨벌루션과 헥사고날 격자에서의 군 컨벌루션 모두를 지원하며, 이중선형 보간을 사용해 정사각형 격자에서 헥사고날 격자로의 효율적 리샘플링을 구현한다.
• 표준 딥러닝 프레임워크와의 호환성을 위해 최적화된 컨벌루션 커널을 재사용하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 헥사고날 격자에서의 군 컨벌루션은 대칭성이 있는 작업에서 표준 CNN보다 성능이 뛰어나게 되는가?
• RQ2 동일한 파라미터 예산 하에서 헥사고날 픽셀화가 정사각형 픽셀화에 비해 이방성을 감소시키고 성능을 향상시키는가?
• RQ3 증가된 회전 대칭성(p6 대비 p4)이 파라미터 공유와 모델 정확도에 얼마나 기여하는가?
• RQ4 거울 대칭(p6m)의 사용은 항공 영상 분류에 유익한가, 아니면 이 맥락에서 여유로운가?

주요 결과

• p6 군 컨벌루션을 사용한 HexaConv는 항공 영상 분류 데이터셋 AID에서 테스트 오차 8.6%를 기록했으며, 기준 모델인 Z²-ResNet의 19.3% 오차를 크게 뛰어넘었다.
• 7파라미터 필터를 사용한 평면 HexaConv는 동일한 파라미터 예산 하에서 정사각형 3×3 필터보다 이방성이 감소하여 성능이 뛰어났다.
• p6 군 컨벌루션은 p4 군 컨벌루션보다 성능이 뛰어나, 더 높은 대칭성이 더 좋은 성능을 이끌어낸다는 것을 입증했다.
• 거울 대칭(p6m)은 성능 향상에 기여하지 않았다(오차 9.3%), 이는 AID 데이터셋에선 유용한 인덕티브 바이어스가 아니라는 것을 시사한다.
• ImageNet 미사전학습 없이도 p6-ResNet은 ImageNet 미사전학습 기반 기준 모델보다 뛰어난 정확도를 달성했으며, 이는 헥사고날 군 컨벌루션의 강력한 인덕티브 바이어스를 시사한다.
• 이 방법은 최적화된 컨벌루션 루틴을 효과적으로 재사용하여, 맞춤형 커널 없이도 효율적인 구현이 가능하다.