[논문 리뷰] Scale equivariance in CNNs with vector fields

Diego Marcos, Benjamin Kellenberger외 2명|arXiv (Cornell University)|2018. 07. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 11인용 수 43

한 줄 요약

이 논문은 다중 스케일에서 필터를 적용하고 활성화를 2D 벡터 필드(크기와 스케일)로 표현함으로써 스케일-등가형 CNN을 제안하며, MNIST-scale 분류 성능 향상과 우수한 스케일-요인 회귀를 달성한다.

ABSTRACT

We study the effect of injecting local scale equivariance into Convolutional Neural Networks. This is done by applying each convolutional filter at multiple scales. The output is a vector field encoding for the maximally activating scale and the scale itself, which is further processed by the following convolutional layers. This allows all the intermediate representations to be locally scale equivariant. We show that this improves the performance of the model by over $20\%$ in the scale equivariant task of regressing the scaling factor applied to randomly scaled MNIST digits. Furthermore, we find it also useful for scale invariant tasks, such as the actual classification of randomly scaled digits. This highlights the usefulness of allowing for a compact representation that can also learn relationships between different local scales by keeping internal scale equivariance.

연구 동기 및 목표

• CNN에 객체 크기가 정보로 유용한 작업에서 로컬 스케일 정보를 도입하는 동기를 부여한다.
• 레이어 간에 스케일 정보를 보존하는 스케일-등가형 합성곱 프레임워크를 제안한다.
• 분류와 스케일-요인 회귀 모두에서 MNIST-scale에 대해 접근법을 평가한다.
• 스케일 정보를 유지하는 것이 성능 향상을 가져오고 스케일 관계를 학습 가능하게 한다는 것을 보여준다.

제안 방법

• 입력에 대해 여러 스케일의 필터로 컨볼루션하고 스케일별로 풀링하여 위치당 최대 활성화를 생성한다.
• 최대 활성화 스케일을 2D 벡터의 각도로 인코딩하고 크기는 활성화 강도이다.
• 결과 벡터 필드를 벡터-필드 컨볼루션으로 처리하여 크기와 스케일을 모두 고려한다.
• 스케일 상호작용을 매개화하기 위해 120도의 스케일 범위(각도)를 사용한다.
• 엔드 투 엔드로 학습하되 분류의 경우 FC 계층에는 크기를 사용하고 스케일 각도는 스케일 회귀에 기여한다.
• 로컬 스케일 등가성을 가능하게 하기 위해 스칼라 출력이 아닌 벡터-필드 표현(크기와 각도)을 유지한다.

실험 결과

연구 질문

• RQ1 로컬 스케일 등가성이 스케일 변동 이미지 분류 작업의 성능을 향상시킬 수 있는가?
• RQ2 벡터-필드 표현을 통해 스케일 정보를 보존하는 것이 스케일-요인 회귀 성능을 향상시키는가?
• RQ3 MNIST-scale 분류 및 회귀 작업에 대해 스케일 등가성이 스케일 불변성과 어떻게 비교되는가?
• RQ4 학습 스케일 관계를 배우는 데 벡터-필드 각도 범위와 다중 스케일 풀링이 어떤 영향을 미치는가?

주요 결과

방법	클래스. 오류
Kanazawa et al., Locally scale-invariant CNN (2014)	3.48 ± 0.23
SI-CNN (2014)	3.13 ± 0.19
Standard 3-layer CNN	3.13 ± 0.11
Scale invariant 3-layer CNN	2.75 ± 0.09
Scale equivariant 3-layer CNN	2.44 ± 0.07

• 스케일-등가형 CNN은 MNIST-scale 분류에서 2.44% 오류를 달성하여 스케일-불변 및 표준 CNN 변형을 포함한 여러 베이스라인보다 우수하다.
• 스케일-등가형 모델은 스케일-요인 RMSE를 0.206으로 줄여 표준(0.254) 및 스케일-불변(0.256) 모델보다 우수하다.
• 벡터-필드 표현(크기 + 스케일)을 사용하는 것이 분류에서 크기만 사용한(스케일-불변) 표현보다 개선을 가져온다.
• 이 접근법은 자연적으로 스케일에 무관한 작업조차도 서로 다른 지역 스케일 간의 상호작용을 학습하게 한다.
• 표준 CNN에 비해 학습 가능한 필터 수가 적더라도 유사하거나 더 나은 성능을 달성한다.