[논문 리뷰] Deep Isometric Learning for Visual Recognition

Haozhi Qi, Chong You외 3명|arXiv (Cornell University)|2020. 06. 30.

Advanced Neural Network Applications인용 수 24

한 줄 요약

이 논문은 등장성 보존(이sovmetry)을 강제하고 정규화 또는 스킵 연결 없이도 이미지 인식 벤치마크에서 최신 기술 성능을 달성하는 딥러닝 프레임워크인 Isometric Networks (ISONets)를 제안한다. 이는 등장성 보존 초기화와 직교 컨볼루션 커널, 그리고 학습 가능한 시프트된 ReLU(SReLU) 활성화 함수를 통해 이루어지며, 100층 이상의 네트워크를 효과적으로 학습시킬 수 있고 COCO에서 정규화 없이도 표준 ResNet을 능가한다. 등장성은 깊은 네트워크 설계의 통합 원리로 기능한다.

ABSTRACT

Initialization, normalization, and skip connections are believed to be three indispensable techniques for training very deep convolutional neural networks and obtaining state-of-the-art performance. This paper shows that deep vanilla ConvNets without normalization nor skip connections can also be trained to achieve surprisingly good performance on standard image recognition benchmarks. This is achieved by enforcing the convolution kernels to be near isometric during initialization and training, as well as by using a variant of ReLU that is shifted towards being isometric. Further experiments show that if combined with skip connections, such near isometric networks can achieve performances on par with (for ImageNet) and better than (for COCO) the standard ResNet, even without normalization at all. Our code is available at https://github.com/HaozhiQi/ISONet.

연구 동기 및 목표

• 등장성이 매우 깊은 컨볼루션 네트워크의 효과적 학습을 가능하게 하는 중심 원리인지 조사하기.
• 등장성이 초기화 및 학습 과정에서 유지된다면 정규화나 스킵 연결 없이도 베이직 딥 네트워크가 강력한 성능을 낼 수 있는지 보여주기.
• 단순한 등장성 초기화와 활성화에 의존하는 최소화된 구조이지만 표준 ResNet의 성능을 따라하거나 능가하는 ISONet라는 효과적인 아키텍처 개발하기.
• 등장성 학습이 특히 객체 검출 및 인스턴스 세그멘테이션과 같은 저배치 크기 환경에서 정규화 레이어를 대체할 수 있는지 보여주기.
• 등장성 원리를 통해 딥러닝의 다양한 아키텍처 구성요소를 통합하고 일관된 설계 프레임워크 제공하기.

제안 방법

• 초기화 시 컨볼루션 커널을 크로네커 델타(항등원)로 설정하여 초기화 단계에서 근사 등장성 보장하기.
• 학습 중에 컨볼루션 커널을 직교 행렬에 가까워지도록 정규화하여 레이어 간 등장성 특성 유지하기.
• 학습 가능한 시프트된 ReLU(SReLU) 활성화 함수를 도입하여 $\phi(x) = \max(0, x + b)$로 정의하며, 여기서 $b$는 비선형성과 등장성의 균형을 맞추기 위해 학습 가능한 파라미터이다.
• 특히 저배치 환경에서 등장성과 성능을 더욱 향상시키기 위해 항등 스킵 연결을 포함한 잔차 버전(R-ISONet)을 사용하기.
• 표준 백프로파게이션을 사용하여 배치 정규화 없이 등장성 초기화와 활성화에만 의존해 네트워크를 학습하기.
• 이미지 분류를 위한 ImageNet과 객체 검출 및 인스턴스 세그멘테이션을 위한 COCO에서 성능 평가하여 일반화 능력과 강건성 평가하기.

실험 결과

연구 질문

• RQ1 등장성이 유지된다면 정규화나 스킵 연결 없이도 깊은 컨볼루션 네트워크를 효과적으로 학습시킬 수 있는가?
• RQ2 커널 초기화 및 활성화 설계를 통해 등장성을 강제함으로써 이미지 인식 벤치마크 성능 향상 정도는 어느 정도인가?
• RQ3 객체 검출과 같은 저배치 크기 환경(예: COCO)에서 등장성 학습은 표준 정규화 기반 아키텍처인 ResNet과 비교해 어떻게 성능을 냈는가?
• RQ4 등장성이 딥러닝에서 다양한 아키텍처 구성요소의 효과성을 설명하는 통합 원리로 기능할 수 있는가?
• RQ5 SReLU의 학습 가능한 시프트 파라미터가 깊은 네트워크에서 비선형성과 등장성 행동의 균형에 미치는 영향은 무엇인가?

주요 결과

• ISONet는 배치 정규화나 스킵 연결 없이도 100층 이상의 성능이 경쟁력 있는 ImageNet에서 뛰어난 성능을 달성하여 등장성 제약 조건 하에서 최소 구조의 타당성을 입증한다.
• R-ISONet 버전은 특히 배치 크기가 낮은 환경에서 객체 검출 및 인스턴스 세그멘테이션에서 표준 ResNet을 능가하며, 배치 정규화가 실패하는 상황에서도 뛰어난 성능을 보인다.
• 시프트 파라미터를 가진 학습 가능한 SReLU의 사용은 표준 ReLU에 비해 특히 깊은 네트워크에서 학습 안정성과 성능 향상에 뚜렷한 기여를 한다.
• 학습 중 컨볼루션 커널에 대한 직교 정규화는 등장성 행동을 유지하고 매우 깊은 네트워크에서 안정적인 기울기 흐름을 가능하게 한다.
• 실증 결과는 등장성 초기화 및 활성화 설계가 정규화 레이어를 대체할 수 있으며, 추론 오버헤드를 줄이고 저배치 환경에서 강건성을 향상시킬 수 있음을 보여준다.
• 이론적 및 실증적 증거는 등장성 학습이 잔차 학습, 정규화, 활성화 설계와 같은 다양한 기법들을 하나의 지침 원리로 통합함을 지지한다.