[논문 리뷰] Orthogonal Convolutional Neural Networks

Jiayun Wang, Yubei Chen외 2명|arXiv (Cornell University)|2019. 11. 27.

Advanced Neural Network Applications참고 문헌 57인용 수 7

한 줄 요약

이 논문은 커널의 이중 블록 토플리츠(DBT) 행렬 표현을 통해 합성곱 레이어에 직교성을 강제하는 오р토곤럴 컨volution 네트워크(OCNN)를 제안한다. 이는 순수한 직교 합성곱을 보장하며, 단지 커널의 직교성만을 보장하는 것과는 다릅니다. 이 방법은 최소한의 계산 오버헤드와 추가 파라미터 없이도 훈련 안정성, 특징 다양성, 이미지 분류, 인painting, 강건성 작업에서 성능 향상을 이룹니다.

ABSTRACT

Deep convolutional neural networks are hindered by training instability and feature redundancy towards further performance improvement. A promising solution is to impose orthogonality on convolutional filters. We develop an efficient approach to impose filter orthogonality on a convolutional layer based on the doubly block-Toeplitz matrix representation of the convolutional kernel instead of using the common kernel orthogonality approach, which we show is only necessary but not sufficient for ensuring orthogonal convolutions. Our proposed orthogonal convolution requires no additional parameters and little computational overhead. This method consistently outperforms the kernel orthogonality alternative on a wide range of tasks such as image classification and inpainting under supervised, semi-supervised and unsupervised settings. Further, it learns more diverse and expressive features with better training stability, robustness, and generalization. Our code is publicly available at https://github.com/samaonline/Orthogonal-Convolutional-Neural-Networks.

연구 동기 및 목표

• 깊은 CNN에서 상관관계가 있는 필터와 비균일한 스펙트럼 반응으로 인해 발생하는 훈련 불안정성과 특징 중복 문제를 해결한다.
• 커널 직교성은 필요하지만 충분하지 않은 점을 극복한다. 즉, 직교 합성곱을 달성하기 위해서는 커널 직교성 외에도 전체 변환의 직교성이 보장되어야 한다.
• 합성곱 레이어를 선형 연산자로 간주할 때 진정한 직교성을 강제하는 방법을 개발하여 스펙트럼 균일성과 특징 표현력을 향상시킨다.
• 다양한 비전 작업에서 지도, 준지도, 비지도 학습 설정 모두에서 일관된 성능 향상을 입증한다.
• 추가 파라미터가 없고 훈련 시 최소한의 계산 비용만 추가되는 효율적인 방법을 확보한다.

제안 방법

• 입력 X를 출력 Y로 직접 매핑하는 선형 변환으로서의 합성곱 레이어를 다이어내밍 블록 토플리츠(DBT) 행렬 $\mathcal{K}$ 를 사용해 표현하며, $Y = \mathcal{K}X$ 를 통해 입력과 출력의 구조를 유지한다.
• 전체 변환이 직교하도록 하기 위해 $\|\text{Conv}(K,K) - I_r\|$ 의 최소화를 통해 직교성을 강제한다. 여기서 $\text{Conv}(K,K)$ 는 커널의 자기상관 행렬이다.
• 훈련 중 DBT 행렬 $\mathcal{K}$ 가 직교성에 수렴하도록 유도하기 위해 미분 가능한 손실 항 $\mathcal{L}_{\text{orth}} = \|\mathcal{K}\mathcal{K}^T - I\|_F^2$ 를 도입한다.
• 주 작업 손실과 직교성 정규화 손실 간의 균형을 조절하기 위해 하이퍼파rameter $\lambda$ 를 통해 부드러운 직교성 제약을 도입한다.
• 커널 직교성 방법에서 사용되는 im2col 변환을 피함으로써 입력-출력 변환의 직접적 분석이 가능해지고, $Q$ 행렬에 의한 스펙트럼 왜곡을 방지한다.
• 기존 CNN과 동일한 파라미터 수와 추론 시간을 유지하며, 훈련 시간은 약 9% 증가(커널 직교 기반 보다 3% 증가)에 그친다.

실험 결과

연구 질문

• RQ1 커널 직교성이 합성곱 레이어가 직교 선형 연산자로 작동하도록 보장하는 데 충분한가?
• RQ2 DBT 행렬을 통한 전체 합성곱 변환에 대한 직교성 강제는 더 균일한 특이값 스펙트럼과 향상된 훈련 안정성으로 이어지는가?
• RQ3 OCNN은 표준 및 커널 직교 CNN 대비 필터 상관관계와 중복을 줄여 더 다양하고 표현력 있는 특징을 생성하는가?
• RQ4 OCNN은 지도, 준지도, 비지도 학습 설정을 포함한 다양한 비전 작업에서 어떻게 성능을 발휘하는가?
• RQ5 직교성 정규화 강도와 모델 성능 사이의 최적의 트레이드오프는 무엇이며, 이는 훈련 효율성에 어떻게 영향을 미치는가?

주요 결과

• OCNN는 표준 및 커널 직교 기반 대비 합성곱 레이어에서 더 균일한 특이값 스펙트럼을 달성하며, 이는 긴 尾 스펙트럼과 기울기 소실에 취약한 경향이 있는 기존 방법과 대비된다.
• 필터 유사도 히스토GRAM을 통해 OCNN는 깊이 있는 레이어에서 특히 두드러지게 쌍별 필터 상관관계를 감소시켜 더 다양하고 중복이 적은 특징 맵을 생성함을 확인하였다.
• CIFAR100에서 OCNN는 표준 ResNet18 대비 3% 향상된 top-1 정확도를 기록하였고, 커널 직교 기반 대비 역시 3% 향상되었으며, 최적 성능는 $\lambda = 0.1$ 에서 달성되었다.
• ImageNet에서 OCNN는 표준 ResNet34 대비 1%의 정확도 향상을 기록하여 지도 학습 기반 이미지 분류에서 일관된 성능 향상을 입증하였다.
• 준지도 학습에서 OCNN는 CIFAR100에서 정확도를 3% 향상시켜, 제한된 레이블 조건에서도 일반화 능력과 강건성을 향상시킴을 보였다.
• 비지도 이미지 인페인팅 작업에서는 PSNR가 4.3 dB 향상되었고, 이미지 생성 작업에서는 FID가 1.3 점 감소하여 더 높은 특징 품질과 생성 정밀도를 입증하였다.