[논문 리뷰] Deep Scale-spaces: Equivariance Over Scale

Daniel E. Worrall, Max Welling|arXiv (Cornell University)|2019. 05. 28.

Computer Graphics and Visualization Techniques참고 문헌 40인용 수 43

한 줄 요약

논문은 CNN의 시그마-등가 확장을 통해 스케일 등가 교차 상관을 달성하는 딥 스케일-스페이스를 도입하여 표준 아키텍처 내에서 다중 스케일 정보 융합을 가능하게 한다. Patch Camelyon과 Cityscapes에서의 개선된 결과를 보여주고 등가성 특성을 분석한다.

ABSTRACT

We introduce deep scale-spaces (DSS), a generalization of convolutional neural networks, exploiting the scale symmetry structure of conventional image recognition tasks. Put plainly, the class of an image is invariant to the scale at which it is viewed. We construct scale equivariant cross-correlations based on a principled extension of convolutions, grounded in the theory of scale-spaces and semigroups. As a very basic operation, these cross-correlations can be used in almost any modern deep learning architecture in a plug-and-play manner. We demonstrate our networks on the Patch Camelyon and Cityscapes datasets, to prove their utility and perform introspective studies to further understand their properties.

연구 동기 및 목표

• CNN에서 시각 작업의 고유한 스케일 대칭성으로 인해 명시적인 스케일 처리의 필요성을 동기화한다.
• 비가역적인 스케일 변환을 다루기 위해 합시к군-등가 상관으로 컨볼루션을 일반화한다.
• 스케일-스페이스 이론을 플러그-앤-플레이 CNN 연산으로 내장하여 다중 스케일 정보를 융합한다.
• 의료(패치 카멜리온) 및 도시 현장(Cityscapes) 데이터셋에서 스케일-등가 네트워크를 평가한다.
• 유한 스케일 구현에서의 등가성 품질과 경계 효과를 분석한다.

제안 방법

• 신호를 스케일-스페이스 작용으로 변환하고 세미군 도메인에서 필터와의 내적을 계산하는 세미군 상관을 정의한다.
• 가우시안 블러와 이방형 다운샘플링을 결합하는 스케일-스페이스 작용에 세미군 상관을 특수화한다.
• 스케일 변환이 세미군 지수에서 단순한 시프트로 작용하도록 입력을 스케일-스페이스 도메인으로 올린다.
• 확대가 올려/내려 스케일로 이동하는 립핑된 표현에서 스케일-스페이스 CNN을 사용하고 스케일 간 확장된 합성 합성(convolution)을 수행한다.
• 경계 효과를 완화하고 표현력을 유지하기 위해 서로 다른 스케일 차원을 가진 커널을 교차시키고 배치한다.

실험 결과

연구 질문

• RQ1 CNN에서 비가역적(세미군)일 때 스케일 변환을 어떻게 모델링할 수 있는가?
• RQ2 세미군-등가 상관이 딥러닝 아키텍처에 적합한 스케일-등가 표현을 생성할 수 있는가?
• RQ3 스케일-등가 네트워크가 다중 스케일 변Variation이 있는 실제 비전 작업에서 비등가 baselines보다 성능을 개선하는가?
• RQ4 딥 스케일-스페이스를 CNN에 구현할 때의 실용적 영향과 한계(예: 경계 효과, 계산 오버헤드)는 무엇인가?

주요 결과

• 세미군 이론에서 구축된 스케일-등가 교차 상관은 CNN 내 다중 스케일 정보 융합을 가능하게 한다.
• 실험 결과 스케일-등가 모델은 Patch Camelyon 및 Cityscapes 작업에서 비등가 baselines보다 우수한 성능을 보였다.
• 등가성 품질은 경계 효과가 스케일-스페이스 절단에서 유의하게 나타나기 전까지는 대개 높게 유지된다(평균 오차 일반적으로 < 0.01).
• 스케일 차원 1과 고차원 상관을 교차하는 것이 성능을 향상시키고 경계 문제를 완화하는 데 도움이 된다.
• Patch Camelyon에서 S-DenseNet은 88.1%의 정확도를 달성하며 베이스라인 87.0%를 능가한다; Veeling 등은 89.8%에 도달한다.
• Cityscapes에서 다중 스케일 상호작용을 가진 S-ResNet은 63.53%의 mAP 및 상호작용 없이 64.78%를 달성하여 일치 매개변수 기반의 baselines(각각 45.66% 및 49.99%)를 능가한다.